【AI视野·今日NLP 自然语言处理论文速览 第二十一期】Fri, 24 Sep 2021

AI视野·今日CS.NLP 自然语言处理论文速览
Fri, 24 Sep 2021
Totally 39 papers
👉上期速览✈更多精彩请移步主页

Daily Computation and Language Papers

Finding a Balanced Degree of Automation for Summary Evaluation Authors Shiyue Zhang, Mohit Bansal 摘要任务的人工评估是可靠的，但会带来可重复性和高成本的问题。自动指标便宜且可重复，但有时与人类判断的相关性较差。在这项工作中，我们提出了灵活的半自动到自动汇总评估指标，遵循金字塔人类评估方法。半自动 Lite2Pyramid 保留了可重复使用的人工标记摘要内容单元 SCU 以供参考，但用自然语言推理 NLI 模型取代了判断系统摘要中 SCU 存在的手动工作。全自动 Lite3Pyramid 通过语义角色标记 SRL 模型进一步用自动提取的语义三元组 STU 替换 SCU。最后，我们在指标之间提出了 Lite2.xPyramid，我们使用一个简单的回归器来预测 STU 模拟 SCU 的能力并保留更难模拟的 SCU，这提供了自动化和手动评估之间的平滑过渡和平衡。与 15 个现有指标相比，我们评估了 3 个现有元评估数据集和我们新收集的 PyrXSum 与 100 个 10 XSum 示例系统的人类指标相关性。它表明 Lite2Pyramid 始终具有最佳的汇总级别相关性 Lite3Pyramid 的效果优于或与其他自动指标相当

Putting Words in BERT's Mouth: Navigating Contextualized Vector Spaces with Pseudowords Authors Taelin Karidi, Yichu Zhou, Nathan Schneider, Omri Abend, Vivek Srikumar 我们提出了一种在上下文向量空间中探索单个点周围区域的方法，特别是 BERT 空间，作为研究这些区域如何对应词义的一种方法。通过引入上下文化伪词作为输入层中静态嵌入的替代，然后对句子中的单词进行掩码预测，我们能够围绕单个实例以受控方式研究 BERT 空间的几何形状。将我们的方法用于一组精心构建的针对含糊不清的英语单词的句子，我们在上下文空间中发现了实质性的规律性，区域与不同的词义相对应，但在这些区域之间偶尔会有与任何可理解的意义不对应的词义空缺区域

Corpus and Models for Lemmatisation and POS-tagging of Old French Authors Jean Baptiste Camps, Thibault Cl rice, Fr d ric Duval, Lucence Ing, Naomi Kanaoka, Ariane Pinche 古法语是资源不足的历史语言的典型例子，它进一步显示了大量的语言变异。

Automated Fact-Checking: A Survey Authors Xia Zeng, Amani S. Abumansour, Arkaitz Zubiaga 随着在线虚假信息的不断增加，自动事实检查近年来受到越来越多的关注。自然语言处理 NLP 领域的研究人员通过构建事实检查数据集、设计自动事实检查管道和提出 NLP 方法来进一步研究不同组件的开发，为这项任务做出了贡献。

Named Entity Recognition and Classification on Historical Documents: A Survey Authors Maud Ehrmann, Ahmed Hamdi, Elvys Linhares Pontes, Matteo Romanello, Antoine Doucet 经过几十年的大规模数字化，数量空前的历史文件以数字格式提供，以及它们的机器可读文本。虽然这代表了在保存和可访问性方面向前迈出的重要一步，但它也为内容挖掘开辟了新的机会，下一个根本挑战是开发适当的技术，从过去的大数据中有效地搜索、检索和探索信息.在语义索引机会中，人文学者对命名实体的识别和分类有很大的需求。然而，命名实体识别 NER 系统面临着多样化、历史和嘈杂输入的严峻挑战。

Cluster-based Mention Typing for Named Entity Disambiguation Authors Arda elebi, Arzucan zg r 文本中提及的实体（例如华盛顿）可能对应于许多不同的命名实体，例如华盛顿特区城市或华盛顿邮报。命名实体消歧的目标是在所有可能的候选中正确识别提到的命名实体。如果类型例如可以从上下文中正确预测提到的实体的位置或人物，它可以通过将低概率分配给不太可能的候选者来增加选择正确候选者的机会。本文为命名实体消歧提出了基于集群的提及类型。提及类型的目的是根据上下文预测给定提及的类型。通常，使用手动策划的类型分类法，例如维基百科类别。我们引入了基于集群的提及类型，其中命名实体根据它们的上下文相似性进行集群，并且集群 id 被分配为类型。维基百科中的超链接提及及其上下文用于获取这些基于集群的类型。然后，在这些提及项上训练提及类型模型，这些提及项已通过远程监督被标记为基于集群的类型。在命名实体消歧阶段，首先预测给定提及的基于聚类的类型，然后将这些类型用作排名模型中的特征，以在候选实体中选择最佳实体。我们在多个上下文级别表示实体并获得不同的聚类，从而基于每个级别输入模型。由于每个聚类对实体空间的划分不同，基于每个聚类的提及类型对提及的区分不同。

A Second Pandemic? Analysis of Fake News About COVID-19 Vaccines in Qatar Authors Preslav Nakov, Firoj Alam, Shaden Shaar, Giovanni Da San Martino, Yifan Zhang 尽管 COVID 19 疫苗终于变得广泛可用，但围绕反疫苗假新闻传播的第二次大流行可能会阻碍从第一个大流行中恢复过来的努力。考虑到这一点，我们对有关 COVID 19 疫苗的阿拉伯语和英语推文进行了广泛分析，重点是来自卡塔尔的信息。我们发现阿拉伯语推文包含大量虚假信息和谣言，而英文推文则大多是事实。然而，英文推文比阿拉伯文推文更具宣传性。在宣传技巧上，大约一半的阿拉伯语推文表达了怀疑，1 5 使用了加载语言，而英语推文则大量使用加载语言、夸张、恐惧、辱骂、怀疑和挥舞旗帜。

Integrating Pattern- and Fact-based Fake News Detection via Model Preference Learning Authors Qiang Sheng, Xueyao Zhang, Juan Cao, Lei Zhong 为了防范假新闻，研究人员开发了各种基于文本的方法。这些方法可以分为 1 种基于模式的方法，它们侧重于假新闻帖子之间的共享模式而不是声明本身；2 种基于事实的方法，从外部来源检索以验证声明的真实性，而不考虑模式。这两组对文本线索有不同偏好的方法实际上在检测假新闻方面起到了互补的作用。然而，很少有作品考虑它们的整合。在本文中，我们研究了通过对基于模式和事实的模型的偏好差异进行建模来将基于模式和事实的模型整合到一个框架中的问题，即，使基于模式和事实的模型专注于帖子中各自的首选部分，并尽可能减少来自非首选部分的干扰.为此，我们构建了一个偏好感知假新闻检测框架 Pref FEND ，它学习联合检测的模式和基于事实的模型的各自偏好。我们首先设计一个异构动态图卷积网络来生成各自的偏好图，然后使用这些图来指导基于模式和事实的模型的联合学习以进行最终预测。

The Current State of Finnish NLP Authors Mika H m l inen, Khalid Alnajjar 有很多工具和资源可用于处理芬兰语。在本文中，我们调查了最近关于芬兰语 NLP 的论文，这些论文与 NLP 的许多不同子类别相关，例如解析、生成、语义和语音。

Transferring Knowledge from Vision to Language: How to Achieve it and how to Measure it? Authors Tobias Norlund, Lovisa Hagstr m, Richard Johanssom 众所周知，大型语言模型存在幻觉问题，因为它们容易输出错误或不一致的语句，表明缺乏知识。对此提出的解决方案是为模型提供额外的数据模式，以补充通过文本获得的知识。我们通过提出一种评估视觉知识转移到单模态或多模态语言模型的文本的方法，研究使用视觉数据来补充大型语言模型的知识。该方法基于两个步骤，1 查询记忆颜色知识的新任务，即众所周知对象的典型颜色，2 过滤模型训练数据以清楚地分离知识贡献。此外，我们引入了一个涉及视觉想象步骤的模型架构，并使用我们提出的方法对其进行评估。

ParaShoot: A Hebrew Question Answering Dataset Authors Omri Keren, Omer Levy 希伯来语中的 NLP 研究主要集中在形态学和句法上，其中可以使用具有通用依赖精神的丰富的注释数据集。然而，语义数据集供不应求，阻碍了希伯来语 NLP 技术发展的关键进步。在这项工作中，我们展示了 ParaShoot，这是现代希伯来语中的第一个问答数据集。该数据集遵循 SQuAD 的格式和众包方法，包含大约 3000 个带注释的示例，类似于其他低资源语言的问答数据集。

Breaking BERT: Understanding its Vulnerabilities for Named Entity Recognition through Adversarial Attack Authors Anne Dirkson, Suzan Verberne, Wessel Kraaij 通用和特定领域的 BERT 模型都广泛用于自然语言处理 NLP 任务。在本文中，我们通过对抗性攻击研究了 BERT 模型对命名实体识别 NER 的输入数据变化的脆弱性。实验结果表明，原始以及特定领域的 BERT 模型极易受到实体替换的影响。它们可以在 89.2 到 99.4 的情况下被愚弄，错误标记以前正确的实体。 BERT 模型也容易受到实体上下文变化的影响，其中 20.2 到 45.0 个实体预测完全错误，另外 29.3 到 53.3 个实体部分预测错误。通常，一次更改就足以欺骗模型。 BERT 模型似乎最容易受到实体本地上下文变化的影响。在两个特定领域的 BERT 模型中，BioBERT 的脆弱性与原始 BERT 模型相当，而 SciBERT 更脆弱。

Dynamic Knowledge Distillation for Pre-trained Language Models Authors Lei Li, Yankai Lin, Shuhuai Ren, Peng Li, Jie Zhou, Xu Sun 知识蒸馏 KD 已被证明可有效压缩大规模预训练语言模型。然而，现有方法静态地进行 KD，例如，学生模型将其输出分布与预定义训练数据集上选定的教师模型的输出分布对齐。在本文中，我们探讨了动态知识蒸馏是否使学生能够根据其能力、关于学生表现和学习效率来调整学习程序。我们探讨了教师模型采用、数据选择和 KD 目标适应三个方面的动态调整。实验结果表明，1 正确选择教师模型可以提高学生模型的表现 2 用 10 个信息实例进行 KD 达到可比的性能，同时大大加快训练 3 可以通过调整不同对齐目标的监督贡献来提高学生的表现。我们发现动态知识蒸馏很有前途，并提供了关于更有效的 KD 方法的潜在未来方向的讨论。

Don't be Contradicted with Anything! CI-ToD: Towards Benchmarking Consistency for Task-oriented Dialogue System Authors Libo Qin, Tianbao Xie, Shijue Huang, Qiguang Chen, Xiao Xu, Wanxiang Che 一致性识别在开放域对话中取得了显着的成功，可用于防止生成不一致的响应。然而，与开放域对话的快速发展相比，面向任务的对话方向却鲜有努力。在本文中，我们认为一致性问题在面向任务的领域中更为紧迫。为了促进研究，我们引入了 CI ToD，这是一个新的数据集，用于面向任务的对话系统中的一致性识别。此外，我们不仅对单个标签进行标注，使模型能够判断系统响应是否矛盾，还提供了更细粒度的标签，即对话历史不一致、用户查询不一致和知识库不一致，以鼓励模型知道什么不一致来源导致它。实证结果表明，最先进的方法仅达到 51.3，远远落后于人类表现的 93.2，表明一致性识别能力还有很大的提升空间。最后，我们进行了详尽的实验和定性分析，以理解关键挑战并为未来的方向提供指导。

Can Question Generation Debias Question Answering Models? A Case Study on Question-Context Lexical Overlap Authors Kazutoshi Shinoda, Saku Sugawara, Akiko Aizawa 用于阅读理解的问答 QA 模型已被证明可以利用意外的数据集偏差，例如问题上下文词汇重叠。这阻碍了 QA 模型泛化到代表性不足的样本，例如具有低词汇重叠的问题。问题生成 QG 是一种增强 QA 数据集的方法，如果 QG 可以适当地消除 QA 数据集的偏差，它可以成为解决这种性能下降的方法。然而，我们发现最近的神经 QG 模型倾向于生成具有高度词汇重叠的问题，这会放大数据集偏差。此外，我们的分析表明，使用这些 QG 模型进行数据增强经常会损害低词汇重叠问题的表现，同时改善高词汇重叠问题的表现。为了解决这个问题，我们使用基于同义词替换的方法来增加词汇重叠度低的问题。我们证明了所提出的数据增强方法简单而有效，仅用 70k 个合成示例就可以缓解退化问题。

The Volctrans GLAT System: Non-autoregressive Translation Meets WMT21 Authors Lihua Qian, Yi Zhou, Zaixiang Zheng, Yaoming Zhu, Zehui Lin, Jiangtao Feng, Shanbo Cheng, Lei Li, Mingxuan Wang, Hao Zhou 本文介绍了 Volctrans 提交到 WMT21 新闻翻译共享任务的德语英语翻译。我们使用 Glancing Transformer 构建了一个并行即非自回归翻译系统，与当前流行的自回归模型相比，它可以实现快速准确的并行解码。据我们所知，这是第一个可以扩展到像 WMT 竞赛这样的实际场景的平行翻译系统。

Pregroup Grammars, their Syntax and Semantics Authors Mehrnoosh Sadrzadeh Pregroup 语法是在 1999 年开发的，并且一直是 Lambek 首选的语法代数模型。然而，预群的集合论语义面临着歧义问题。在他的最新著作中，兰贝克建议使用有限维向量空间而不是集合可以解决这个问题。

Fuzzy Generalised Quantifiers for Natural Language in Categorical Compositional Distributional Semantics Authors Matej Dostal, Mehrnoosh Sadrzadeh, Gijs Wijnholds 最近关于组合分布模型的工作表明，有限维向量空间上的双代数可用于处理自然语言的广义量词。该技术需要在幂集上构建向量空间，因此计算成本高。在本文中，我们通过在许多有价值关系的类别内考虑沿 Zadeh 线的量词的模糊版本来克服这个问题。我们表明该类别是组合分布模型的具体实例。我们表明，在该模型中获得的语​​义等同于 Zadeh 的模糊量词的语义。

Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization Authors Congbo Ma, Wei Emma Zhang, Hu Wang, Shubham Gupta, Mingyu Guo 在自然语言处理任务中，语言知识始终可以在协助模型学习 excel 表示并更好地指导自然语言生成方面发挥重要作用。在这项工作中，我们开发了一个基于神经网络的抽象多文档摘要 MDS 模型，该模型利用依赖解析来捕获交叉位置依赖和语法结构。更具体地说，我们将依赖信息处理到语言引导注意机制中，并进一步将其与多头注意融合以获得更好的特征表示。在语言信号的帮助下，可以正确捕获句子级别的关系，从而提高 MDS 性能。我们的模型有两个版本，分别基于 Flat Transformer 和 Hierarchical Transformer。对两个版本的实证研究表明，这种简单但有效的方法优于基准数据集上的现有工作。

Exploiting Curriculum Learning in Unsupervised Neural Machine Translation Authors Jinliang Lu, Jiajun Zhang 反向翻译 BT 已经成为无监督神经机器翻译 UNMT 中事实上的组成部分之一，它明确地使 UNMT 具有翻译能力。然而，BT 生成的所有伪双文本在优化过程中都被视为干净的数据，而没有考虑质量多样性，导致收敛缓慢和翻译性能有限。为了解决这个问题，我们提出了一种课程学习方法，可以根据质量从多个粒度逐步利用伪双文本。具体来说，我们首先应用跨语言词嵌入来计算单语句子的潜在翻译难度质量。然后，将句子逐批从易到难输入 UNMT。此外，考虑到特定batch中句子token的质量也是多种多样的，我们进一步采用模型本身来计算细粒度的质量分数，作为学习因素来平衡计算损失时不同部分的贡献并鼓励UNMT模型专注于更高质量的伪数据。

Zero-Shot Information Extraction as a Unified Text-to-Triple Translation Authors Chenguang Wang, Xiao Liu, Zui Chen, Haoyun Hong, Jie Tang, Dawn Song 我们将一套信息提取任务转换为文本到三重翻译框架。我们不是依赖于特定于任务的数据集和模型来解决每个任务，而是将任务形式化为特定于任务的输入文本和输出三元组之间的转换。通过获取特定于任务的输入，我们通过利用预先训练的语言模型对任务的潜在知识来启用与任务无关的翻译。我们进一步证明，预测哪个关系信息对应于哪个输入文本的简单预训练任务是生成任务特定输出的有效方法。这使我们的框架能够零样本转移到下游任务。我们研究了该框架在开放信息提取 OIE2016、NYT、WEB、PENN、关系分类 Fees 和 TACRED 以及事实探测 Google RE 和 T REx 上的零样本性能。该模型非常重要地转移到大多数任务，并且通常与完全监督的方法相比具有竞争力，而无需任何特定于任务的训练。

Non-Parametric Online Learning from Human Feedback for Neural Machine Translation Authors Dongqi Wang, Haoran Wei, Zhirui Zhang, Shujian Huang, Jun Xie, Weihua Luo, Jiajun Chen 我们研究了在循环机器翻译中人工反馈的在线学习问题，其中人工翻译人员修改机器生成的翻译，然后使用更正的翻译来改进神经机器翻译 NMT 系统。然而，以前的方法需要在线模型更新或额外的翻译记忆网络才能实现高质量的性能，这使得它们在实践中不灵活且效率低下。在本文中，我们提出了一种不改变模型结构的新型非参数在线学习方法。该方法引入了两个 k 最近邻 KNN 模块，一个模块记住人工反馈，即人工翻译提供的正确句子，而另一个模块自适应地平衡历史人工反馈和原始 NMT 模型的使用。

Cross-Lingual Language Model Meta-Pretraining Authors Zewen Chi, Heyan Huang, Luyang Liu, Yu Bai, Xian Ling Mao 预训练的跨语言语言模型的成功依赖于两个基本能力，即在源语言中学习下游任务的泛化能力，以及将任务知识转移到其他语言的跨语言迁移能力。然而，当前的方法在单阶段跨语言预训练过程中联合学习这两种能力，导致泛化和跨语言迁移之间的权衡。在本文中，我们提出了跨语言语言模型元预训练，它在不同的训练阶段学习这两种能力。我们的方法在跨语言预训练之前引入了一个额外的元预训练阶段，该模型在大规模单语语料库上学习泛化能力。然后，该模型专注于在多语言语料库上学习跨语言迁移。

Distiller: A Systematic Study of Model Distillation Methods in Natural Language Processing Authors Haoyu He, Xingjian Shi, Jonas Mueller, Zha Sheng, Mu Li, George Karypis 我们的目标是确定 KD 管道中的不同组件如何影响结果性能，以及最佳 KD 管道在不同数据集任务中的变化程度，例如数据增强策略、损失函数以及在教师和教师之间传输知识的中间表示。学生。为了梳理它们的影响，我们提出了 Distiller，这是一个元 KD 框架，它系统地结合了 KD 管道不同阶段的广泛技术，这使我们能够量化每个组件的贡献。在 Distiller 中，我们在通用互信息 MI。