EMNLP2021 401500

最新推荐文章于 2023-01-30 09:18:33 发布

刘皮狠

最新推荐文章于 2023-01-30 09:18:33 发布

阅读量277

点赞数

分类专栏：论文阅读 NLP 文章标签：自然语言处理

本文链接：https://blog.csdn.net/weixin_43938099/article/details/128080259

版权

NLP 同时被 2 个专栏收录

12 篇文章 1 订阅

订阅专栏

论文阅读

10 篇文章 0 订阅

订阅专栏

EMNLP2021 401~500

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HfY2osyD-1669619413160)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132209974.png)]

研究问题：

立场检测，针对人类在媒体内容的标注并不总能捕捉到民意调查中所衡量出的立场。

创新点或效果：

提出一种评估立场检测模型局限性的框架。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-VxJzyBY9-1669619413161)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132249109.png)]

研究问题：

黑盒搜索方法由于没有考虑生成对抗性攻击所需的查询量而导致搜索效率低下。
在比较不同的搜索方法中，先前的攻击不能够保持一致的搜索空间。

创新点或效果：

提出一种有效的查询攻击策略来生成文本分类和蕴含关系任务中似是而非的对抗样本。

利用注意力机制和局部敏感哈希（LSH）来减少查询次数。
从效果上看，与文中所提到的攻击相比，该方法平均在所有数据集和目标模型上减少了75%的查询次数。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LykeoRUP-1669619413162)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132309326.png)]

研究问题：

对人类语言处理能力中假设的通道容量（channel capacity）导致的惊喜与持续时间之间的权衡的研究。

创新点或效果：

提出一种实验性框架，控制几个可能的混淆因素，并且在某种语言水平上评估惊喜-持续时间的权衡。
发现跨语言权衡的证据：拥有更多惊喜的语言通过让说话时间更长来补偿。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-F3GXhYdW-1669619413162)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132329763.png)]

研究问题：

清除某些不希望出现的属性（例如用户之间的人口统计学信息），学习公平的表示同时保持目标任务的性能。

创新点或效果：

提出一种对抗性学习框架，来消除上下文表征的偏差。

该框架在某些条件下会收敛并且不会泄露人口统计信息。
使用最小描述长度（MDL）探测来评估去偏置性能来扩展以前的评估技术。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gtP5tuuv-1669619413163)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132341160.png)]

研究问题：

理解世界观与意识形态之间的区别。

创新点或效果：

提出一种基于多语言嵌入对齐的无监督文化分析方法。

第一个分析意识形态极化多个方面的方法。
在大型多社区环境中进行分析。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-El8Dl7jb-1669619413163)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132357790.png)]

研究问题：

对在上下文相关的语言模型中相似度测量的信息性提出质疑。

创新点或效果：

在相似度测量中，存在1-3个流氓维度主导了测量。
主导相似度量的维度和对模型行为重要的维度之间存在显著的不匹配。
简单的后处理技术比如标准化能够纠正流氓维度并且揭示潜在的特征质量。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8uuFyA4y-1669619413164)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132432423.png)]

研究问题：

语义角色问题的生成：给定一个提到的谓词和一段文章，生成一组询问谓语中所有可能的语义角色问题。

创新点或效果：

提出一个两阶段模型。

首先为每个角色生成一个上下文独立的问题原型。
修改问题原型使其从上下文来讲适合段落。

该方法不需要文中是否存在的答案这一条件，而是需要以查询的信息类型作为条件。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eGgDcxuc-1669619413164)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132456842.png)]

研究问题：

针对预训练语言模型（PTLMs）虽然包含了大量的世界知识，但是对问题仍然可以产生不一致的答案，进而使模型容易收到不一致行为和简单的错误的影响。

创新点或效果：

将一个预训练语言模型（PTLM）嵌入到一个更广泛的系统中，该系统同样包含一个进化的，符号化的信念记忆，记录但可能修改原始的预训练语言模型的答案。

提出两种机制来提高系统的整体信念一致性。

首先是一个推理组成部分，修改与其他信念发生重大冲突的信念。
其次是一个反馈组成部件，使用已知的信念作为上下文，向预训练语言模型发出未来的查询。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EhSQFZM0-1669619413164)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132558278.png)]

研究问题：

文本摘要。针对当前的文本摘要预训练工作对正文中共性词较多的摘要更加重视而较少注意生成的句子与原始文本之间真的语义相似性。

创新点或效果：

提出了一种预先训练了三个新目标的基于Transformer的编码解码模型(ARMAN)。

模型根据修改后的语义分数，从文档中选择突出的句子，形成一个伪摘要。
应用了修改后的句子重排序来更精确地摘要。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DvqMDQYZ-1669619413165)(C:\Users\Liu\AppData\Roaming\Typora\typora-user-images\image-20221025132714213.png)]

研究问题：

机器翻译。针对当前采用BERT作为预训练的模型缺乏与其他预训练模型可能对翻译性能产生的影响的比较。

创新点或效果：

使用一个定制的适当的双语预训练语言模型（BIBERT）的输出作为机器翻译编码器的输入。
提出一种随机层选择的方法和一个双向翻译模型的概念来确保上下文嵌入的充分利用。
实现在IWSLT’14数据集上，英语翻译德语30.45的BLEU得分，德语翻译英语38.61的BLEU得分。在WMT’14数据集上，英语翻译德语31.26的BLEU得分，德语翻译英语34.94的BLEU得分。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3pbsOxTq-1669619413165)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132754244.png)]

研究问题：

机器翻译中句子级别的质量估计(QE)。针对当前的质量评估模型大多依赖于计算开销十分昂贵的大型多语言模型并且这些在实际应用中都不可行。

创新点或效果：

通过比较多种QE模型的压缩技术，将QE重新定义为一种分类问题，并且使用分类指标来评估QE模型，从而更好地反应它们在实际应用中的性能。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MKQVjx16-1669619413165)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132808402.png)]

研究问题：

如何量化和解释learning representations如掩码语言模型（MLM）上下文嵌入的效果。

创新点或效果：

确定并解决了在文本分类问题中应用DDC进行数据标签对齐的几个实际问题，包括对“null”分布进行更好的比较来处理更难的分类问题，同时支持在不同的表示之间进行比较。
定义了三种评估模式为数据管理和建模选择提供校准的反馈。
为每个模式的使用提供了案例研究。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HLqB52JK-1669619413166)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132824103.png)]

研究问题：

序列生成任务中的束搜索。针对候选对象通常表现出高度的重叠并可能给出一个高度有偏差的期望估计。

创新点或效果：

提出一种新的方法（条件泊松随机束搜索，CPSBS）将束搜索转化为随机地过程。

在不替换的情况下根据条件泊松抽样设计对K个候选样本进行采样，而不是每次迭代中取最大化集。
可以用于建立一致性评估器并从序列模型中采样不同的集。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EhxhVbpR-1669619413166)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132836553.png)]

研究问题：

词义消歧（WSD）。当前的词义消歧方法都是在给定一个上下文，每个单词都可以独立消除歧义而没有考虑其他意义上的选择这一约束假设的情况下进行的。该研究是针对解决这一限制以及去掉这个假设。

创新点或效果：

利用最近的重构（re-framing）WSD任务作为文本提取问题，将其调整为公式和引入反馈循环策略，该策略允许消除目标词的歧义，不仅取决于上下文和可能的含义，还取决于分配给附近单词的显式意义。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-uT7QrVPv-1669619413166)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132850184.png)]

研究问题：

语义分析。将大规模预训练模型作为few-shot语义分析器。探索将训练后的语言模型用于生成自然语言应用于生成结构化意义表征（meaning representation）。

创新点或效果：

使用语言模型将输入改写为类似于英语的受控子语言，该子语言可以自动映射到目标含义表示。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-edvlmFgv-1669619413167)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132906484.png)]

研究问题：

心理测量（推理）。区别于基于调查的心理分析，探索从用户生成的文本进行推理，从而可以及时的不引人瞩目的收获和分析。

创新点或效果：

构建了一个心理测量自然语言处理语料库，它与健康领域的信任、焦虑、计算能力和阅读能力等重要维度相关。
讨论了将用户文本与其基于调查的响应项目对齐的多步骤过程，并提供了由此产生的测试平台的概述。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-eed5fU9S-1669619413167)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025132946680.png)]

研究问题：

模型可解释性。研究模型可解释性中的对比解释。

创新点或效果：

提出一种通过输入表示的投影在潜在空间中产生对比解释的方法。

允许模型行为仅考虑对比推理，并揭示输入的哪些方面对特定决策有用和不利于特定决策。
对于一个给定的输入特征，对比解释可以回答哪个标签，以及针对哪个替代标签，是有用的特征。
通过两个 NLP 分类基准的高级抽象概念属性和低级输入标记/跨度属性生成对比解释。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-HSJ2YosP-1669619413167)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025133013395.png)]

研究问题：

预训练Transformer的对比性分布外检测

创新点或效果：

提出一种使用无监督OOD检测的对比学习框架，全面研究了不同的对比学习损失和OOD打分函数的组合。
在多种任务和数据集上进行了大量验证，对Transformer的OOD检测进行了显著改进。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5Ta87gm9-1669619413167)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025133029815.png)]

研究问题：

语义分析中，研究将快速改变parser的行为，例如应用于新域的查询中或者是更改其对某些目标查询的预测。

创新点或效果：

提出一种基于检索增强的可控语义分析方法。给定一个输入查询，parser从检索索引中检索相关示例，将它们扩充到查询中，然后应用生成 seq2seq 模型来生成输出解析。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GyPYjMRl-1669619413168)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025133044968.png)]

研究问题：

对“in the wild”聚集的三种对话机器人系统（开放领域社交机器人、基于规则的聊天机器人、基于任务的系统）的辱骂性语言研究。

创新点或效果：

提出一种新的数据集-ConvAI，反映了辱骂的细粒度。该数据集有详细的注释方案，注释超过6千个样本（每个系统大约2千个）。与其他数据集相比，对话系统的辱骂分布有很大不同，超过一般的案例包括性别歧视或者性骚扰。
在该数据集的基础上对常用的滥用检测方法进行了基准测试。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-OcWZI4yY-1669619413168)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025133129035.png)]

研究问题：

研究在跨语言任务中，对多语言模型进行中间微调来增强迁移学习过程。

创新点或效果：

使用并行数据对多语言对话任务的多语言模型模型进行中间微调的工作。在两个数据集中为低资源和零样本数据场景提供了关于四个语言方向的强有力的经验证据。
中间微调技术产生数据高效的目标语言对话状态跟踪器（dialogue state trackers）。对大多数指标，在零样本多语言MultiWoZ数据集上实现了SOTA结果。
提出两个新的中间任务：跨语言对话建模（Cross-lingual dialogue modeling , XDM）和响应掩蔽（Response masking, RM）

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4bBGXIkr-1669619413168)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025133115610.png)]

研究问题：

多语言句子嵌入。针对当前最先进的多语言嵌入模型需要大量的并行语料库进行学习导致限制了模型的范围的问题。

创新点或效果：

提出一种基于anchor-learner的新型dual encoder（EuEAM），用于无监督和弱监督的多语言句子嵌入生成。
提出一个联合损失函数，结合Word Move的距离和余弦相似度来捕捉句子相似度和相关性。
在单语和几个跨语言基准任务上的实验评估表明，模型有效地捕获了跨语言的语义相似性，并提供了最先进的无监督性能，可与监督模型相媲美。
低资源语言的零样本迁移学习的鲁棒性，在某些场景下优于最先进的句子匹配任务监督方法。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Kes3k6yI-1669619413169)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025133140944.png)]

研究问题：

在对话推荐系统（CRS）中，针对CRS存在需要在背景知识上遍历多个推荐路径以引入相关项目和属性和在当前系统意图下适当安排选定实体以控制响应生成中存在的不足。

创新点或效果：

提出CR-Walker模型来解决上述问题。

CR-Walker对知识图谱和对话上下文进行树结构推理，进而探索背景知识和利用实体之间的联系来获取更准确的推荐。
CR-Walker将推理树转化为对话行为，抽象所选实体的语义和层次结构，进而产生更具吸引力的推荐响应。
在两个对话推荐数据集上对CR-Walker上进行了评估，从推荐和对话两方面来看，在自动和人工的评估上实现了显著的表现。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-88JVtBKg-1669619413169)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025133153673.png)]

研究问题：

命名实体识别（NER）。针对之前的研究大多关注于带注释的数据相当有限的低资源(low-resource)场景中增强域内(in-domain)数据，研究NER任务的跨域（cross-domain）数据增强。

创新点或效果：

提出一种新的神经网络结构，它可以学习文本模式，有效地将文本从高资源（high-resource）领域中转化到低资源领域。
在2个数据集上对文中提到的方法进行了系统性地评估，包括6种不同的域和10种不同的域对。展示了跨域数据增强在NER任务的有效性。
探索了该方法在低资源场景下的应用，展示了方法可以有利于低资源NER任务。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XqIFeHyv-1669619413169)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025133205240.png)]

研究问题：

数据到文本（data-to-text）生成任务。

创新点或效果：

直接将从“邻居”（neighbor）源数据对中检索到的文本片段拼接在一起。

学习一个直接操纵相邻文本段的策略，通过在部分构建的生成（generations）中插入或替换它们。
证明找到最短的这种推导可以简化为在特定加权的上下文无关语法下进行解析。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-P0cDWcwL-1669619413169)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221019091541417.png)]

研究问题：

识别基于长文档的会话系统中使用相关知识来提升有效生成响应。

创新点或效果：

提出一种知识识别模型来解决在对话环境中从长文档中定位相关信息的问题。
介绍了一种多任务学习框架，该框架通过历史知识预测和知识语境化（contextualization）机制的辅助任务建立对话-文档交互的模型
在知识识别任务的两个数据集上实现了SOTA，在之前工作的基础上分别提升了超过60%和20%。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-UTvStlnx-1669619413170)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221019093317392.png)]

研究问题：

探索远程(Long-Range)语言模型使用远程上下文是否真的有效。

创新点或效果：

在Local Transformer和Routing Transformer两种Transformer语言模型中进行了细粒度（fine-grained）分析。

向模型提供远程上下文（超过2K的标记），细粒度分许显示这确实有助于一小组标记（子词集群（subword clusters）中的标记和那些只能从远上下文复制的标记）以及待定类型的书籍。
尽管对一小部分标记有改进，但用word shuffling和random replacement显著扰乱长期上下文（long-term context）对总体困惑没有显著影响，这表明评估的模型最多从表面上编码长期上下文。
长期上下文不用于在先前实验中teacher-forced设置之外的序列水平的预测任务。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xIAuWk3d-1669619413170)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221019095622159.png)]

研究问题：

探索为什么大多数Transformer变体没有得到广泛采用。

创新点或效果：

在一套Transformer通常应用于的任务上重新实现并且评估了各种Transformer变体。

结果显示大多数Transformer变体实验设置的情况下没有性能上的提升。
那些确实产生了更好提升的变体往往是那些相当小的变化或者是基于原版Transformer的codebase开发的变体。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-5p4Drc4c-1669619413170)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221019102128070.png)]

研究问题：

事件时间线推理。针对当前的预训练语言模型（PTLMs）虽然在大多数自然语言任务上取得了不错的成绩，但是仍然在以事件为中心的应用任务中在时序推理存在问题。

创新点或效果：

提出ECONET（Effective CONtinual pre-training framework for Event Temporal reasoning）模型，一种新的连续(continual)预训练框架，该模型集成了事件时序推理的targeted masking和contrastive loss。
训练目标有效地从targeted masked样本中学习，在PTLMs中注入了更丰富的事件时序信息。在5个广泛使用的事件时序常识任务中具有更强的微调性能。在大多数目标任务中，与现有的方法相比，ECONET实现了SOTA的结果。
与全规模（full-scale）的预训练相比，ECONET需要的训练数据要少得多，能够处理各种PTLMs，如BERT和RoBERTa。
ECONET成功地将事件触发器和关系(triggers and relations)的文本线索方面的知识转移到目标任务中，特别是在低资源环境下。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pGLF2inq-1669619413170)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221019105911316.png)]

研究问题：

机器翻译。研究在保证翻译质量的同时提升模型在推理时的速度。

创新点或效果：

通过浅层解码器与但语言词汇过滤的结合，可以提高速度（在基线的基础上实现了2到3倍的加速）同时不损失翻译的质量。
使用独立的语言专用浅解码器（separate language-specific shallow decoders）进行实验，它以更高的BLEU性能换取内存，速度与单解码器方法相当。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-tOj2Ar3N-1669619413171)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221019115322537.png)]

研究问题：

BERT所提取的语言学特征。针对过去的研究通常通过训练分类器后提取在不同层的特征表示，而忽略了token表示的潜在作用。

创新点或效果：

对BERT的表示空间提出in-depth分析，来寻找不同的和有意义的子空间来接受探测结果背后的原因。

分层分析扩展到token级别，以便在BERT的表示空间中寻找不同的和有意义的子空间，这些子空间可以解释各种探测任务中的性能趋势。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-gyMGXagm-1669619413172)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221020092943561.png)]

研究问题：

实体提取（entity-extraction）。针对基于机器学习的材料属性预测往往受到缺乏大型训练数据集的问题，提出解决方案。

创新点或效果：

从科学文献中收集了与溶解度相关的句子语料库，并且手动标记了溶解度测量的关键成分，包括溶解质、溶解度值和溶解度单位。
应用并比较了几个实体抽取深度学习框架，用于溶解度数据的自动提取。
开发了几种可能的方法来预训练定量测量模型提取。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xtUEHPZk-1669619413172)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221020095220703.png)]

研究问题：

分词（Tokenization）

创新点或效果：

提出一种基于BERT的高效分词算法WordPiece。

当在单个单词级别进行分词时，WordPiece使用最长匹配优先策略。该算法在分词时的时间复杂度为 $O (n)$ ，而一般的分词算法的时间复杂度要么是 $O(n^2)$ ，要么是 $O (m n)$ 。
在一般文本级别进行分词时，WordPiece算法采用预分词（将文本分割为单词）与线性分词算法相结合的方式。
实验测试该方法对比HuggingFace Tokenization提升了8.2倍，相比Tensorflow Text提成了5.1倍。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-YeOEDvDn-1669619413172)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221020100434418.png)]

研究问题：

条件图修改（conditional graph modification）。基于前人提出的首先对原始图进行编码，然后根据编码生成修改后的图的方法的基础上，探索进一步提升性能的可能性。

创新点或效果：

提出针对结果图（resulting graph）扩展问题，基于自回归序列标注的模型。
介绍了一种新的生物医学领域的数据集，该数据集比场景图修改数据集具有更大的语言可变性和更复杂的图。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dvKuHmpj-1669619413172)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221020102905272.png)]

研究问题：

事件推理数据集。针对过去的数据集大多关注于事件的参数（arguments）或者是时间（temporal）关系，而缺乏基于事件的信息（比如事件的动机或目的，事件的组成等）。

创新点或效果：

提出一个用于事件语义关系推理的综合机器阅读理解数据集。

该数据集利用自然语言查询来推理五种最常见的事件语义关系。
提供超过6K个问题，并捕获10.1K个事件关系对。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-EaUPEtYr-1669619413173)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221020104551482.png)]

研究问题：

非参语言模型。针对过去的模型存在需要在测试时从大型数据存储中进行检索导致推理开销大等问题提出一种解决方案。

创新点或效果：

采用k-nearest neighbors语言模型，探索沿着不同维度提高其效率的方法。

学习一个轻量级的网络来自动删除不必要的检索操作。
探索几种基于聚类、重要性引导过滤或贪心合并的数据存储剪枝方法。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bMVnos7U-1669619413173)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221020105911916.png)]

研究问题：

影响函数（influence functions）改进。针对影响函数的计算开销不能很好的适应模型和训练数据大小的问题。

创新点或效果：

提出FASTIF，通过简单的修改影响函数来显著改善运行时间。

使用k近邻(kNN)将搜索空间缩小到一个良好的候选数据点的子集，并引入一种快速并行的变体。
四个应用中展示了快速影响函数的有用性。
该方法在与原始影响值高度相关的同时，实现了约80倍的加速。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FdqaqH4C-1669619413173)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221021092813970.png)]

研究问题：

语码转换（code-switching）。理解和总结人们在对话过程中在不同语言之间切换的交流现象。

创新点或效果：

提出第一个开放域(open-domain)的语码转换交流总结数据集-GupShup。

使用各种统计方法来描述数据集的复杂性。
对各种生成式摘要模型进行了基准测试。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-NA8OVCsb-1669619413174)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221021094511869.png)]

研究问题：

预训练语言模型是否隐式地表示抽象符号和规则。

创新点或效果：

训练了多个BERT实例，在训练之前进行一系列受控干预（controlled interventions）。

实验发现BERT通常可以很好地泛化到训练中从未出现过的主谓对，这表明了一定程度的规则支配行为。
词频对性能的影响很大，动词形式的绝对频率以及相对于交替变化的频率都与 BERT 的预测有因果关系。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-fSYbLXeH-1669619413174)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221021100151526.png)]

研究问题：

演绎推理(deduction and reasoning)。针对以逻辑一致(logically consistent)的方式操作自然语言语句中存在的困难，提出解决方法。

创新点或效果：

提出了PARAPATTERN方法，该方法通过构建模型实现可以在没有直接人工监督的情况下从不同的自然语言输入中生成演绎推理。

使用基于BERT的模型以生成将特定逻辑运算应用于一个或多个前提语句的结果。
开发一个高度自动化的通道(pipeline)，用于从 Wikipedia 构建合适的训练示例。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pKStKgP1-1669619413174)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221021103238874.png)]

研究问题：

情绪检测。在实时聊天客户服务的对话中检测情绪及其变化。

创新点或效果：

使用Few-Shot学习，同时做出假设，该方法可以为不同语言和稀疏标签提供会话情感分类。
提出一种用于对话中序列标记的原型网络(Prototypical Networks)的变体ProtoSeq。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wR736hQt-1669619413175)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221021104655459.png)]

研究问题：

对抗性攻击(adversarial attack)。

创新点或效果：

我们提出了第一个针对 Transformer 模型的通用基于梯度的攻击。

不同于之前大多数工作使用黑盒搜索构建单一的对抗样本，本文定义对抗样本的参数化分布，使用基于梯度的方法对其进行优化。
通过将可区分的流畅性(differentiable fluency)和语义相似性约束(semantic similarity constraints)纳入对抗性损失，白盒攻击产生更自然的对抗性文本。
有效地对对抗分布进行采样，以在黑盒设置中查询不同的目标模型。这使得强大的传输攻击可以匹配或超过现有黑盒攻击的性能。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JKsyE00A-1669619413175)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221021110027047.png)]

研究问题：

针对跨文档执行事件和实体共指解析(performing event and entity coreference resolution)大大增加了候选提及的数量，使得进行完整的 $n^2$ 成对比较变得困难的问题，提出解决方法。

创新点或效果：

借鉴了语篇连贯理论的见解：潜在的共指受到读者语篇焦点的限制。将读者关注的实体/事件建模为学习的潜在嵌入空间中的邻域( neighborhood within a learned latent embedding space )，从而最小化提及与其最佳共指簇( gold coreference clusters)的中心之间的距离。

使用这些邻域仅对硬负(hard negatives)样本进行采样，以在提及对及其局部话语特征上训练细粒度分类器。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Y3VPPGnJ-1669619413175)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024100643263.png)]

研究问题：

信息抽取(information extraction)。在临床文本中加入额外的医学知识。

创新点或效果：

应用多种知识集成技术将统一医学语言系统( Unified Medical Language System,UMLS)中编码的医学知识与来自预训练 BERT 模型的嵌入相结合以进行临床关系提取的有效性进行了全面的实证分析。
提出几种知识融合的方法用于临床关系抽取。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-52uQTEGl-1669619413176)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024103017748.png)]

研究问题：

机器翻译中的回译(Back-translation, BT)。提高可用 BT 数据的有效性。

创新点或效果：

提出两种新颖的hinting技术。Quality Tagging和Translit Tagging来解决低资源(low-resource)跨字体(cross-script)机器翻译中的两个关键性挑战。
进行了广泛的实验和与竞争基线的比较，文中提出的方法的组合在所研究的所有三种语言中都优于双语最先进的模型。
在低资源语言环境中常见的其他情况下应用所提出的技术。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MrlaHBgT-1669619413176)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024104315338.png)]

研究问题：

立场检测(Stance detection)。针对立场检测任务中标注缺失问题。

创新点或效果：

通过在每个数据集和不同领域数据集上训练一个模型评估了多目标和多数据集的训练设置。
研究了立场检测中的知识蒸馏，并观察到将知识从教师模型转移到学生模型可能对上面提出的训练设置有益。
提出了一种自适应知识蒸馏（AKD）方法，该方法将特定于实例的temperature scaling应用于教师和学生的预测。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-wABcpZ4w-1669619413176)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024105827319.png)]

研究问题：

句法分析中的隐式树状归纳(latent tree induction)。

创新点或效果：

提出一种以跨度约束(span constraints)即短语括号(phrase bracketing)的形式在使用远程监督(distant supervision)来提高无监督选区解析(constituency parsing)性能的方法。
用相对较少数量的跨度约束，可以显着提高 DIORA 的输出，DIORA 是一个无监督解析系统。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Zh19zP25-1669619413176)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024111358914.png)]

研究问题：

研究当网络模型遇到一个意外的标记(out-of-distribution token)之后，模型是否可以进行预测？

创新点或效果：

引入了两个理想化的预测模型：一个局部上下文模型，其中生成与观察到的最后一个词一致（忽略全局句子结构），以及一个全局上下文模型，其中生成与输入的全局结构一致（忽略意外的单词）。

实验表明神经语言模型行为可以通过局部或全局上下文模型得到相当好的近似，甚至可以通过两者的插值(interpolation)更好地预测。
训练时引入的噪声在此插值中调节局部和全局上下文的相对强度：输入噪声（以随机词替换的形式）鼓励全局泛化，而历史噪声（应用于循环状态或自注意力层的 dropout）鼓励局部泛化。
通过证明这种插值行为出现在具有单独预测未来令牌的单独局部和全局上下文特征的任何正则化对数线性模型中，对观察到的结果提供初步的数学解释。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TzQNHYiF-1669619413177)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024131859421.png)]

研究问题：

多模态。研究在辩论赛中通过考虑选手的姿势、演讲文本内容和语调等多种信息评估论证的质量。

创新点或效果：

提出了一组可解释的以辩论为中心的特征，例如清晰度、内容变化、身体运动提示和停顿，这些特征受到论证质量理论(theories of argumentation quality)的启发。
设计了多模态参数质量评估器（MARQ）——一种分层神经网络模型，它总结了长序列上的多模态信号，并通过以辩论为中心的特征丰富了多模态嵌入。
模型在论点质量预测任务上的准确率达到了 81.91%，并优于已建立的基线模型，错误率降低了 22.7%。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-bf2vLP4r-1669619413177)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024132757264.png)]

研究问题：

问答模型。针对注释者通过编写示例提高模型鲁棒性过于昂贵，研究利用合成对抗性数据生成提高问答模型的鲁棒性。

创新点或效果：

首次使用合成的对抗性数据生成，使得问答模型相比于人工更加鲁棒。

开发一个数据生成管道，选择源段落，识别候选答案，生成问题，然后最终过滤或重新标记它们以提高质量。
将一个较小的人工编写的对抗性数据集放大为一组更大的合成问答对。通过合成数据，将 AdversarialQA 数据集的状态提高了 $3.7F_1$ ，并提高了12个MRQA数据集中的9个的模型泛化能力。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-DEEtdBa1-1669619413177)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024134011019.png)]

研究问题：

文本生成中的写作任务。探索复杂和可控的写作模型。

创新点或效果：

设计了 IGA，一个能够根据作者指定的明确修辞指令控制文本生成的创作助手。
创建了一个大型文本数据集（75M token），该数据集以作者意图进行启发式标记。
通过自动和众包评估以及涉及创意写作的用户研究来验证 IGA 的有用性。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TBQClmGe-1669619413178)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024135127804.png)]

研究问题：

脚本事件预测(script event prediction)。针对脚本事件预测中，在事件层面上，现有研究将事件视为带有参与者的动词，而忽略了其他有用的属性；在脚本层面上，大多数现有研究只考虑与一个共同主角相对应的单个事件序列的问题，提出解决方法。

创新点或效果：

提出一种基于Transformer的模型MCPredictor，模型集成了深层事件级和脚本级信息，用于预测。

通过从原始文本中引入丰富的信息，增强事件级信息，通过聚合多个叙事事件链的影响，对后续事件进行学习脚本级信息。
该模型在广泛使用的基准数据集上取得了SOTA的性能。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GuYNiOrT-1669619413178)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024140103751.png)]

研究问题：

Transformer成分泛化能力。针对神经网络模型缺乏将已知部分的知识重组来创造新的表达这种学习符号结构的能力，提出解决方法。

创新点或效果：

提出了两个辅助序列预测任务来跟踪函数和参数语义的进度，作为额外的训练监督。
在 SCAN 数据集上的实验表明文中的方法鼓励Transformer理解命令的组成结构，将其在多个具有挑战性的分割上的准确性从 ≤ 10% 提高到100%。只有418 (5%)个训练实例，方法在MCD1分割上仍然达到 97.8% 的准确率。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-N55tUYXG-1669619413178)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024143345507.png)]

研究问题：

信息检索(information retrieval)。针对信息检索中存在的两个问题：在查询时只包含几个关键词导致歧义增加并使其上下文化(contextualization)更加困难；由于标记数据集的短缺使对非英文文档执行神经排序(neural ranking)困难。

创新点或效果：

引入了一种神经方法来增加输入查询，其中包含定义其中单词含义的句子。
提出了 SIR(sense-enhanced information retrieval)，一种有监督的神经架构，利用额外的语义信息进行单语ad-hoc信息检索任务。
在零样本设置中对英语和法语、德语、意大利语和西班牙语的多个测试集进行了广泛的评估。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Lhl6W73E-1669619413179)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024144326784.png)]

研究问题：

多模态。研究多模态Transformer中的跨模态(cross-modal)影响。

创新点或效果：

提出了一种基于跨模态输入消融的诊断方法，以评估模型实际整合跨模态信息的程度。该方法涉及完全或选择性地基于跨模态接地对齐消融来自一种模态的输入，并评估模型在另一种模态上的预测性能。
模型性能通过反映模型预训练目标的特定模态任务来衡量，例如文本的掩码语言建模。
实验发现，与在文本被消融时预测视觉对象类别相比，最近提出的模型在视觉信息被消融时预测文本的相对难度要大得多，这表明这些模型不是对称的跨模态的。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MWNEhkhE-1669619413179)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024145505557.png)]

研究问题：

立场分析(stance analyzing)。通过研究攻击性Reddit对话中对话模型响应的立场来理解上下文攻击性语言的动态。

创新点或效果：

创建了 TOXICHAT，这是一包含2000个Reddit线程的人群注释数据集，并用冒犯性语言和立场标记了模型响应。
在 TOXICHAT 上对基于Transformer的分类器进行了微调，使得攻击性标签的$ F_1 $为 0.71，而立场标签的 $MacroF_1$ 为 0.53。
与基线相比，最好的可控文本生成(CTG)模型与攻击性评论的一致性降低了19%，攻击性回复减少了29%。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aFt3t1pl-1669619413179)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024151810516.png)]

研究问题：

信息抽取(information extraction, IE)。针对模型很容易过拟合噪声标签而导致性能下降问题，提出解决方法。

创新点或效果：

提出一个通用的协同正则化(co-regularization)的框架，有效地从嘈杂的数据集中学习受监督的IE模型，而无需任何额外的学习资源。
讨论了框架的不同设计策略，以及效率和有效性之间的权衡。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vLnc1dcQ-1669619413180)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024153101690.png)]

研究问题：

意见总结(opinion summarization)。相比于之前使用无监督、弱监督和few-shot学习的方法进行意见总结，本文研究使用监督学习的方法进行意见总结。

创新点或效果：

为多文档的意见总结提供最大的数据集。
提出一个端到端模型的选择和总结评审。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-U9gfGUDZ-1669619413180)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024202124600.png)]

研究问题：

跨语言摘要(cross-lingual summarisation)

创新点或效果：

提出一个跨语言摘要语料库，将源语言的长文档与目标语言的多句摘要相关联。
用自动度量标准来分析所提出的跨语言总结任务，并通过人类研究来验证。
展示了在监督学习，zero-shot，few-shot和域外(out-of-domain)场景下使用多语言预训练模型的实验。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-WzMqj3ta-1669619413180)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024203217031.png)]

研究问题：

事件推理。在情景对话中的思维建模理论(Theory of mind modeling)。

创新点或效果：

引入MINDCRAFT任务，该任务中，成对的用户通过在《我的世界》的3D虚拟世界中组合块来协作创建新材料，最终目标是创建最终的目标材料。
专注于合作伙伴各自拥有不对称知识和技能组合以完成共同目标的环境。
引入了一组基线计算模型来原位推断玩家的心理状态，并强调在构建能够在情境环境中推理人类心理状态的完全现实的代理方面存在的一些进一步挑战。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-SXRPo6iT-1669619413180)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024204605586.png)]

研究问题：

信息提取(information extraction, IE)。针对OpenIE过去的系统通常以先前解码的事实为条件预测下一个事实的方式顺序输出事实，这对事实强制执行不必要的顺序并涉及自回归步骤之间的误差累积。

创新点或效果：

提出 MacroIE，一种新的OpenIE非自回归框架。

MacroIE首先基于表格填充方案构造事实图。
然后可以将 OpenIE 重新表述为从图中找到最大团的非参数过程。
在两个基准数据集上进行的实验，结果显示文中提出的模型显着优于当前的状态方法，在 $F_1$ 分数上的绝对增益比以前的系统高出 5.7 倍。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-4lGP7srU-1669619413181)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024205513357.png)]

研究问题：

叙事分析(Narrative analysis)。

创新点或效果：

提出一种重新语境化和分析它为叙事任务提供的改进的新方法。
提出一种基于重新语境化的叙事完成模型，在MCNC上实现了SOTA和以及在SCT 上实现较好的性能。
对事件信息的BERT transformer语义附件探索。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RRLpPRD0-1669619413181)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221024205949378.png)]

研究问题：

针对BERT等大规模语言模型中所包含的性别和种族等歧视提出一种消解的方法。

创新点或效果：

建议使用CB分数，这是一种具有对数概率的多类偏见度量，用于量化语言模型中的种族偏见程度。
揭示了种族偏见的语言依赖性质。
出了两种简单有效的偏差缓解方法：一种使用多语言模型，另一种使用上下文词对齐和微调。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3nyUBkb7-1669619413181)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025092519485.png)]

研究问题：

主题模型(topic model)。针对主题模型存在的两个问题：只有文档级别的字数信息进行训练而忽略了句子级别的信息；关于文档、句子和单词的外部语义知识没有用于训练。提出解决方法。

创新点或效果：

提出了一种基于VAE的神经主题模型，该模型将内部BoW信息和特定于单词、句子和文档级别的外部语义知识编码到相同的潜在主题空间中，以改进主题质量。
模型对句子和文档对施加注意力加权的分层KL散度，以平滑从句子的稀疏BoW数据中学习主题嵌入。
证明了模型在文档和句子级别的BoW数据重建中是有效的。它还提高了已发现主题的内部和外部连贯性。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1JWVR3Gh-1669619413182)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025094106226.png)]

研究问题：

机器翻译。探索机器翻译中联合生成两个文本的问题，以便每个输出端有效依赖于另一方。

创新点或效果：

对双解码架构的比较研究。
进行了四个简短的实验研究，使用这些架构从一个输入同时生成多个输出。
实现多目标解码所必需的多并行语料库短缺的实际补救措施
提出减轻两个解码器之间曝光偏差(exposure bias)的具体解决方案。
对解码器之间的紧密交互(tight interaction)导致的一致性增加进行定量评估。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a2DVgGVR-1669619413182)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025095254512.png)]

研究问题：

短语检索(phrase retrieval)。研究短语检索是否可以作为粗略检索(段落、文档)的基础。

创新点或效果：

解释为什么短语级监督与段落级监督相比有助于学习更好的细粒度含义(fine-grained entailment)。
研究表明可以改进短语检索以在文档检索任务（例如实体链接和基于知识的对话）中实现竞争性能。
通过短语过滤(phrase filtering)和矢量量化(vector quantization)可以将索引大小减少4-10倍。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Z70YU6R9-1669619413182)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025102001595.png)]

研究问题：

短语嵌入(phrase embedding)。针对由BERT模型依赖于词汇相似性来确定语义相关性从而导致不会表现出复杂的短语组合性的问题，提出解决方法。

创新点或效果：

提出了一个对比微调目标，使BERT能够产生更强大的短语嵌入。

该方法 (Phrase-BERT) 依赖于不同短语释义的数据集。
Phrase-BERT 在各种短语级相似性任务中都优于基线。
实验展示了向量空间中最近邻居之间增加的词汇多样性。
研究表明Phrase-BERT嵌入可以很容易地与简单的自动编码器(autoencoder)集成，以构建基于短语的神经主题模型.

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8RXuKKcV-1669619413183)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025103009723.png)]

研究问题：

关系预测。从对话中推断出说话者之间的关系。

创新点或效果：

提出PRIDE模型，该模型是基于BERT和Transformer的神经多标签分类器，用于创建对话表示。模型利用对话结构并通过有关说话者特征和对话风格的外部知识对其进行扩充。
发布基于电影和电视节目剧本的大规模数据集，其中包含对话参与者的直接关系。
两个数据集上的大量实验表明，与最先进的基线相比，PRIDE 的性能优越。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-MoTWlVov-1669619413183)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025103518463.png)]

研究问题：

多文本任务中的重叠信息(overlapping information)。针对多文本任务中通常需要在相关文本之间建立冗余模型而当前的方法难以融合重叠的信息的问题，提出解放方法。

创新点或效果：

引入QA-Align任务，将跨文档命题级(cross-document proposition-level)内容重叠建模为基于QA的对齐。
在语义相似的配对文本上编译并发布了众包(crowdsourced) QA-Align 数据集（伴随着新的 QA-SRL 注释）。
为QA-Align实施基线建模方法并对句子融合任务进行了潜在下游应用的分析。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-geLABVCG-1669619413183)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025104514305.png)]

研究问题：

槽填充(slot filling)。尝试使用基于检索的语言模型以端到端方式完成slot filling任务。

创新点或效果：

描述了一种端到端的槽填充解决方案，称为 KGI(Knowledge Graph Induction)，它大大提高了KILT槽填充基准中的最新技术。
展示了DPR( Dense Passage Retrieval)硬负挖掘(hard negative mining)与槽填充任务的端到端训练相结合的有效性。
使用zero/few-shot槽填充评估KGI的域适应，证明其在本文发布的基准zero-shot TACRED 上的鲁棒性。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-FMFpvpEe-1669619413183)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025110307515.png)]

研究问题：

对话重写(dialogue rewriting)。针对模型在不同的数据集上进行测试时，性能会显著下降问题，提出解决方法。

创新点或效果：

提出了一种新颖的基于序列标记的模型，在显着减少了搜索空间的同时仍然很好地涵盖了对话重写任务的核心。
在REINFORCE框架下注入来自BLEU或GPT-2的损失信号来解决模型的输出可能缺乏流畅性的问题。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-6coMluxY-1669619413184)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025111115042.png)]

研究问题：

统一信息密度（UID）假设。研究UID假设中存在的尚不清楚应该如何测量语言信号的一致性（或缺乏一致性），以及这种一致性应该在哪个语言单位（例如句子或语言级别）上保持不变。

创新点或效果：

使用阅读时间和可接受性数据研究 UID假设。发现信息密度的不均匀性预示着较低的可接受性。
在对原始假设的不同解释的推动下，探索UID的多种操作化，并分析施加统一压力的范围。操作化子集的解释力表明，最强的趋势可能是向整个语言的平均惊喜回归，而不是短语、句子或文档。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TVrNEr6r-1669619413184)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025125935872.png)]

研究问题：

序列模型可解释性(sequence model explanation)。

创新点或效果：

通过基本原理考虑模型解释，可以解释单个模型预测的上下文子集。

通过解决组合优化找到顺序基本原理：最好的基本原理是输入标记的最小子集，它可以预测与完整序列相同的输出。
提出了一种有效的贪婪算法来逼近上述目标。
研究了语言建模和机器翻译的贪心合理化。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-oGbcCBb3-1669619413184)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025134157997.png)]

研究问题：

对话摘要(conversation summarization)。研究生成式对话摘要中减少对标签数据的依赖。

创新点或效果：

通过考虑对话的结构和上下文，提出了简单而有效的对话摘要数据增强技术。
通过结合对话数据增强(Conversational Data Augmentation, CODA)和两阶段噪声自训练引入半监督对话摘要框架。
通过在两个对话摘要数据集SAMSum和ADSC上进行的广泛实验，证明了提出的方法的有效性。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-akEbzfzJ-1669619413185)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025135005815.png)]

研究问题：

同义词检测(synonyms detection)。针对当前的方法仍然使用监督学习和未充分利用环境的潜力的问题，提出解决方法。

创新点或效果：

提出了一种自监督的预训练方法。

该方法能够检测在浅匹配创建的数据上训练的概念的上下文同义词。
将方法应用于稀疏的多类设置（超过15000个概念），从电子健康记录中提取表型信息。并研究数据增强技术以解决类稀疏问题。
在F1和Recall上的临床文本上的无监督表型概念注释(phenotype concept annotation)实现了新的 SOTA，其性能优于之前的SOTA，绝对值分别高达 4.5 和 4.0。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-JoFxo0Lc-1669619413185)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025140010350.png)]

研究问题：

文本检测。针对当前的人工文本检测模型在未见过的数据集上缺乏可解释性和鲁棒性的问题，提出解决方法。

创新点或效果：

本文的工作是首次尝试将TDA(Topological Data Analysis)方法应用于Transformer模型的注意力图并解释NLP领域的拓扑特征。
提出了三种从注意力图派生的可解释拓扑特征，用于人工文本检测任务。
测试对看不见的文本生成模型(TGM)的鲁棒性，我们发现基于TDA的分类器往往比现有的检测器鲁棒性更强。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-hqIghBgI-1669619413185)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025141417331.png)]

研究问题：

夸大检测(exaggeration detection)。针对当前存在新闻媒体通过夸大科学论文的发现来歪曲论文的现象，提出解决方法。

创新点或效果：

提出一种新的、更现实的科学夸张检测任务公式。
提供一组精选的基准数据，用于测试科学夸张检测方法，该数据集由563 个新闻稿/摘要对组成。
提出MT-PET方法，该方法是模式开发培训( Pattern Exploiting Training, PET)的多任务扩展，在科学夸大检测方面击败了基线。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-iLi9PL99-1669619413185)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025142438042.png)]

研究问题：

多模态对话(multimodal conversation)。针对现有的面向虚拟辅助任务的对话数据集存在不足，并且没有将对话置于用户的多模式上下文中的问题，提出解决方法。

创新点或效果：

提出了一个新的情景和交互式多模式对话数据集(Situated and Interactive Multimodal Conversations, SIMMC 2.0)，其中包括购物领域中的1.1万个面向任务的用户↔助手对话（11.7万个对话），以沉浸式和照片般逼真的场景为基础。

提供对收集到的数据集的深入分析。
提出的四个主要基准任务。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-pvP47Fqz-1669619413186)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025143259053.png)]

研究问题：

预训练模型。理解预训练模型在处理、保留和应用输入中呈现的信息时的复杂性。

创新点或效果：

通过检查模型在面对分散注意力的内容时利用相关上下文信息的能力的稳健性来解决上述问题的一个组成部分。

展示需要使用关键上下文信息的完形填空任务的模型，并引入分散注意力的内容以测试模型保留和使用该关键信息进行预测的稳健程度。
研究发现尽管模型出现在简单的上下文中以基于对先前上下文的相关事实的理解和应用进行预测，但不相关的内容的存在明显影响了模型预测的混乱。
研究表明语言模型预测在很大程度上是由表面的上下文线索驱动的，而不是由上下文含义的稳健表示驱动的。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-j9I6Voma-1669619413186)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221025144722285.png)]

研究问题：

语义新颖性检测(semantic novelty detection)。给定一组正常场景的自然语言描述，想要识别新场景的描述。

创新点或效果：

提出了一项在文本中进行语义新颖性检测的新任务。

现有工作侧重于粗粒度文档或主题级别的新颖性，文中所提出的任务需要细粒度的句子级别语义和句法分析。
提出了一种称为GAT-MA( Graph Attention network with Max-Margin loss and knowledge-based contrastive data Augmentation)的高效技术来解决所提出的语义新颖性检测问题，该技术基于 GAT，具有依赖解析和基于知识的对比数据增强。
为提议的任务创建了一个名为NSD2(Novel Scene Description Detection)的新数据集。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-LFDSrmHg-1669619413186)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026091651549.png)]

研究问题：

预训练模型，few-shot learning。针对大规模预训练模型在只有少量训练示例的few-shot setting中表现不佳的问题。

创新点或效果：

提出一种带任务增强的自训练方法STRATA(Self-Training with Task Augmentation)，该方法通过两个关键想法对未标记数据进行有效利用。

STRATA使用任务增强(task augmentation)，该技术从目标任务未标记的文本中合成大量数据用于辅助任务微调。
STRATA在广泛分布的伪标记数据上进一步由任务增强创建的强基础模型微调来执行自我训练。
实验表明，STRATA 可以显着提高 12 个小样本基准的样本效率。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KkXufnL1-1669619413187)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026093151335.png)]

研究问题：

文本摘要，选择合理化(Selective rationalization)。针对稀疏注意力机制(sparse attention mechanisms)中缺乏一种方法来控制基本原理(rationale)摘要的问题。

创新点或效果：

为结构化基本原理的确定性提取提供一个统一的框架，例如受约束的亮点(highlight)和匹配。
展示如何在基本原理提取上添加约束，并尝试几个结构化和硬约束因素，展示策略的模块化。
对高亮和匹配提取的确定性和随机合理化器进行严格比较。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-XqksnkpS-1669619413187)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026094612023.png)]

研究问题：

暗网论坛移民分析。针对当一个论坛关闭时，用户迁移到新论坛，导致增加了跨多个论坛链接用户的难度。

创新点或效果：

提出一种表示学习方法，将时间内容样式与访问身份（通过元路径图上下文信息利用论坛交互）结合起来，对用户（作者）表示进行建模和增强。
设计一种新框架，用于在跨多个暗网市场的多任务设置中训练所提出的模型，使用标记迁移的小型数据集，以改进每个单独市场中的用户表示，同时还提供一种跨市场关联用户的方法。
进行深入研究，讨论各种优化的影响，并在与四个暗网市场（Black Market Reloaded、Agora Marketplace、Silk Road 和 Silk Road 2.0）相关的论坛上强调图上下文和多任务学习的好处。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-dYGDUz4h-1669619413187)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026100757196.png)]

研究问题：

基本水平类别检测(Basic-level categories detection)。研究验证Rosch假设的方法（Rosch用于检测 BLC 的原始算法基于语义特征的可用性，但在一直没有得到全面测试）。

创新点或效果：

提出了第一种大规模检测BLC的方法，该方法利用了Rosch风格的语义特征。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-I0cRm8hQ-1669619413187)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026102452682.png)]

研究问题：

立场分类(stance classification)。研究使用BERT等神经网络在社交媒体上执行自动立场分类的问题。

创新点或效果：

提出一种新的神经架构，其中输入还包括针对给定声明自动生成的否定观点。

对于改进原始视角的分类，提出了一种弱监督方法，用于将预测组合成最终预测。
对于过滤掉可疑的预测，使用置信度分数来消除可疑的预测。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-d3KzKnLn-1669619413188)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026103233498.png)]

研究问题：

文本生成。当前故事和诗词生成任务中的没有自动评判的标准，大多数研究采用Amazon Mechanical Turk(AMT)进行评判。

创新点或效果：

对45篇开放式文本生成论文进行了调查，发现其中绝大多数都没有报告有关其 AMT 任务的关键细节，从而阻碍了可重复性。
对AMT工作人员和英语教师进行了一系列故事评估实验，发现即使使用严格的资格过滤，AMT工作人员（与教师不同）也无法区分模型生成的文本和人工生成的参考。
实验表明AMT的判断在有人工生成的参考时，显示模型生成的输出会有所改善。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-2SQAZ3bo-1669619413188)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026104821971.png)]

研究问题：

预训练模型微调。针对预训练和下游语料库之间存在域转移的问题，在小型语料库上进行研究。

创新点或效果：

提出一种基于异常检测的新框架TADPOLE，用于为下游任务调整预训练。

详细解释了该框架，并通过广泛的消融研究证明了其所有步骤的合理性。
TADPOLE优于所有基线方法，包括：基于LM的相关性分数；基于距离的相关性分数；继续对任务数据进行预训练；在微调时进行数据增强。
在具有小标记数据集（少于5千个示例）的任务上，该方法实现了平均 1.82% 的性能提升，而基线实现不超过 0.48%。
对于具有大标记数据集的任务，该方法的性能不会下降，并达到了0.32%的平均增益。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-aG9Eyydh-1669619413188)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026110140440.png)]

研究问题：

研究纯文本预训练的固有局限性问题。

创新点或效果：

证明了报告偏差(reporting bias)，即人们不陈述明显情况的倾向，是造成这种限制的原因之一。

介绍了一个包含521个知名对象的人类颜色分布的数据集。
进行了广泛的分析，以确定报告偏差如何影响语言模型对颜色的感知。
证明了多模式训练减轻但不能消除报告偏差的影响。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-817UTUoS-1669619413188)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026110743870.png)]

研究问题：

位置编码对多语言压缩的影响。

创新点或效果：

虽然对正弦位置编码的修改（分离位置编码和标记嵌入或者根据单词对之间的距离直接修改注意权重）倾向于改善单语语言模型，但没有一个能产生更好的多语言语言模型。
文章表面虽然正弦位置编码最初是为单语应用程序设计的，但它们在多语言语言模型中特别有用。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-J8XBa9Pg-1669619413189)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221026120221315.png)]

研究问题：

情绪分析。情绪分析中不同标签格式导致产生的异质性，进而使得在这些相互冲突的约束下开发的数据和软件难以比较和集成。

创新点或效果：

提出了一种训练方案，该方案学习独立于不同标签格式、自然语言甚至不同模型架构的共享潜在情感表示。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-IBzEIvwO-1669619413189)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027092211457.png)]

研究问题：

时间序列(time series)。探索自动生成时间序列中显着模式(salient pattern)的自然语言描述的任务。

创新点或效果：

提出具有真值(truth-conditional)条件架构的计算模型。

首先在输入时间序列上运行小型学习程序
然后识别对给定输入成立的程序/模式，最后仅对所选的有效程序（而不是输入时间序列）产生条件以生成输出文本描述。
收集和发布两个数据集，包括时间序列数据，并附带显著模式的英语描述。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-BXv4sPW8-1669619413189)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027102523552.png)]

研究问题：

无监督关系提取(unsupervised relation extraction)。针对在基于变分自编码器(VAE)的方法中，由于分类是一个潜在变量，所以需要遵循预定义的先验分布从而导致训练不稳定的问题。

创新点或效果：

提出UREVA(Variational Autoencoder-based Unsupervised Relation Extraction)；一种基于VAE的无监督关系提取器，将解码器与编码器连接起来，而不限制关系分类的分布。
文章表明，与以前的工作相比，UREVA 学习关系分类而不是预测统一的分类结果。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-1MHDAHh0-1669619413190)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027104352278.png)]

研究问题：

Conversation disentanglement, multi-party conversations。探索在不参考任何人工注释的情况下训练 Conversation disentanglement模型。

创新点或效果：

使用深度神经模型研究无监督Conversation disentanglement。
提出了一种基于协同训练的新方法，它可以以端到端的方式执行无监督的Conversation disentanglement。
实验表明，该方法可以在大型公共电影对话数据集上实现与监督方法竞争的性能。进一步的实验表明，方法可以很容易地适应下游任务并取得显着的改进。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-7h3YUWq1-1669619413190)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027105307532.png)]

研究问题：

词嵌入评估(word embedding evaluation)。研究量化词嵌入中偏差的价维(valence dimension)和情感意义。

创新点或效果：

量化语义，特别是情感的效价(valence)维度（愉快/不愉快）来研究单词的效价规范，并提出一个排列测试来衡量效价量化的统计显着性。
介绍了 ValNorm，一种新的内在评估任务，用于测量词嵌入的语义质量。
建立了不同语言和不同时间内广泛共享的效价关联。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-Fhm5Jbx1-1669619413190)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027110242632.png)]

研究问题：

多模态。新闻图片的字幕。

创新点或效果：

公布了Visual News数据集，该数据集是新闻图像字幕数据集，由超过一百万张带有新闻文章、图像字幕、作者信息和其他元数据的图像组成。
提出了Visual News Captioner，一种新闻图像的字幕方法。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-taPV5koS-1669619413190)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027110955838.png)]

研究问题：

语篇分割(Discourse segmentation)。针对对于口头对话(oral conversation)的语言，现有分割的研究较少，注释数据稀少，现有的语料库更加异构。

创新点或效果：

提出一种使用多模态特征和少量人工注释将基于准备好的书面文本的监督模型转换为自发的多方口头对话的方法。
在域内和域外数据集上评估了具有不同输入信息的新分割模型。
发布一个7.5 小时的多方语料库，法语口语对话，带有gold transcript，以及（小型）开发和测试集的手动分割注释。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-8zWZzEqD-1669619413191)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027135259785.png)]

研究问题：

多模态。自动识别在线视频中的人类行为原因。

创新点或效果：

引入并公开WHYACT数据集，该数据集由 1077 个视觉动作组成，手动注释了其原因。
描述一个多模式模型，该模型利用视觉和文本信息自动推断与视频中呈现的动作相对应的原因。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mN00Msol-1669619413191)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027135722223.png)]

研究问题：

预训练模型。在训练和测试时的规范标记(canonical tokenisation)中仅使用一个最佳标记会忽略标记器对替代标记的不确定性，这可能会损害模型在域外的性能。

创新点或效果：

本文认为语言模型应该根据它们对标记化的边缘可能性进行评估。

比较基于抽样的边缘似然的不同估计量，并表明用可管理数量的样本估计边缘似然是可行的。
在最好的标记化和边际困惑上评估预训练的英语和德语模型，并表明边缘困惑明显优于最好的模型，尤其是在域外数据上。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sMvMRKa4-1669619413191)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027145124180.png)]

研究问题：

自动语言识别( Automatic Speech Recognition, ASR)中对抗性攻击的防御。研究将随机平滑范式( Randomized Smoothing paradigm)应用于 ASR 任务。

创新点或效果：

利用增强和ROVER投票等特定于语音的工具来设计对扰动具有鲁棒性的 ASR 模型。
将最先进攻击的自适应版本（例如 Imperceptible ASR 攻击）应用于模型。

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-au4sTgjE-1669619413191)(C:\Users\Liu\Desktop\Learning\研究生\截图\image-20221027145802518.png)]

研究问题：

主动学习(active learning)。研究同时进行不确定性和多样性抽样。

创新点或效果：

提出了CAL( Contrastive Active Learning)，一种用于主动学习的新获取功能，它从未标记数据池中获取对比示例。
实验表明在对域内和域外设置进行评估时，与所有任务中的所有基线相比，CAL始终表现得更好或相等。
News数据集，该数据集是新闻图像字幕数据集，由超过一百万张带有新闻文章、图像字幕、作者信息和其他元数据的图像组成。
提出了Visual News Captioner，一种新闻图像的字幕方法。

[外链图片转存中…(img-taPV5koS-1669619413190)]

研究问题：

语篇分割(Discourse segmentation)。针对对于口头对话(oral conversation)的语言，现有分割的研究较少，注释数据稀少，现有的语料库更加异构。

创新点或效果：