自然语言推理综述 翻译及笔记

Recent Advances in Natural Language Inference: A Survey of Benchmarks, Resources, and Approaches

https://www.researchgate.net/profile/Shane_Storks/publication/332169673_Recent_Advances_in_Natural_Language_Inference_A_Survey_of_Benchmarks_Resources_and_Approaches/links/5ddeb9f3a6fdcc2837f03c3d/Recent-Advances-in-Natural-Language-Inference-A-Survey-of-Benchmarks-Resources-and-Approaches.pdf

Abstract Natural language inference

想法：逻辑与LM结合，一部分可以通过深度模型学到，另一部分用逻辑（规则）解决

数据集：增加一些结合了外部知识反而会错的例子

1. Introduction

NLI: machines’ capability of deep understanding of language that goes beyond what is explicitly expressed, rather relying on new conclusions inferred from knowledge about how the world works.

1.1 Scope of Benchmark Datasets

Early benchmarks primarily targeted approaches that only applied linguistic context, where LMs are typically good at.

1.2 Scope of Knowledge Resources

It is an unsolved problem to comprehensively taxonomize all of the human knowledge and reasoning required to perform general inference (Davis & Marcus, 2015). For the purpose of this survey, though, we attempt to provide an overview of three types of knowledge resources: linguistic knowledge, common knowledge, and commonsense knowledge.

Linguistic knowledge. knowledge about the language. This includes an understanding of word meanings, grammar, syntax, semantics, and discourse structure.

Common knowledge. well-known facts about the world that are often explicitly stated. 类似于考试范围。

Commonsense knowledge. Commonsense knowledge, on the other hand, is typically unstated, as it is considered obvious to most humans (Cambria et al., 2011), and consists of universally accepted beliefs about the world (Nunberg, 1987). 类似于考试范围中并没有指定的加减法等常识。

Two particularly important domains of commonsense knowledge are intuitive physics, i.e., humans’ basic understanding of physical interactions in the world, and intuitive psychology, i.e., humans’ basic understanding of human emotion, behavior, and motives (DARPA, 2018).

1.3 Scope of Approaches

Due to the unexplainability of these recent approaches, as well as statistical biases recently found in benchmark datasets (Schwartz, Sap, Konstas, Zilles, Choi, & Smith, 2017; Gururangan, Swayamdipta, Levy, Schwartz, Bowman, & Smith, 2018; Niven & Kao, 2019), it remains a subject of debate in terms of how much progress we have made in enabling natural language inference ability.

2 Benchmarks and Tasks

删除线为本文前一版

NLP领域有通过创建benchmark来促进算法进展的传统。早期benchmark都引导系统利用语言环境（context）来解决任务。但某些任务，如共引消解（确定代词指代哪个实体或事件），难以通过语言环境来解决，只能通过常识知识来解决。例如， Winograd Schema Challenge (Levesque, 2011)中的"The trophy would not fit in the brown suitcase because it was too big. What was too big?"。

2.1 An Overview of Existing Benchmarks

通常只给训练集，测试集不公开以保证测试的公平公正。

From 2005 to 2015, the sizes of most benchmarks are relatively small.

From 2015, benchmarks with 100,000 instances are developed.

2.1.1 Reference Resolution

Reference resolution is the process of identifying a referent, typically a linguistic mention in a span of text, that a particular expression, e.g., a pronoun or phrase, refers to.

Winograd Schema Challenge：

See https://cs.nyu.edu/faculty/davise/papers/WinogradSchemas/WS.html,
https://commonsensereasoning.org/winograd.html, and
https://commonsensereasoning.org/disambiguation.html.

WinoGrande. AI2 and UW

A largescale, adversarial version of the problem focusing primarily on intuitive physics and psychology.

其他：

Reference resolution as a subtask within multiple task Benchmarks.

https://literarydevices.net/anaphora/

In writing or speech, the deliberate repetition of the first part of the sentence in order to achieve an artistic effect is known as Anaphora.

Even resolution

predator ate their prey 捕食者吃猎物

2.1.2 QA

MCTest：

RACE

NarrativeQA

ARC（AI2 Reasoning Challenge）：大部分四项选择问题可以通过从语料库中多个句子提取答案来回答，但并非所有问题。

MCScript：少数几个强调commonsense推理的数据集，部分问题不能根据提供的段落回答。

Propara（Mishra, Huang, Tandon, Yih, and Clark (2018) ）：由488条带标注的描述过程的文本段落组成。这些段落描述了各种过程，例如光合作用和水力发电，以便系统可以学习到涉及状态变化的过程中的对象跟踪。作者断言，认识到这些状态变化可能需要世界知识，因此必须具备常识推理才能熟练执行。段落的标注采用网格的形式，该网格描述了段落中每个参与者在经过每个句子之后的状态。如果系统理解此数据集中的一个段落，则可以说对于该段落中提到的每个实体，它可以回答有关该实体是否创建、销毁还是移动以及何时何处发生等任何问题。为了完全准确地回答所有可能的问题，系统必须产生一个与段落标注相同的网格。因此，根据系统在此任务上的性能对其评估。链接：http://data.allenai.org/propara/。

MultiRC：由Khashabi，Chaturvedi，Roth，Upadhyay和Roth（2018）编写的 MultiRC是一个阅读理解数据集，包含大约10,000个问题，涉及多个主题领域的800多个段落。它与传统的阅读理解数据集的不同之处在于，大多数问题只能通过对所附段落中的多个句子进行推理来回答，答案不是该段落中文本块，而且候选答案的数量以及正确答案的数量对于每个问题都是可变的。所有这些特性使得浅层和人工的方法难以在benchmark上良好地表现，以鼓励对文章的更深层理解。此外，benchmark测试包括段落中的各种非平凡的语义现象，例如共指关系和因果关系，这通常需要常识才能识别和解析。可以从http://cogcomp.org/multirc/下载MultiRC。

**ARCT **（Argument Reasoning Comprehension Task）

SQuAD：最初是由Wikipedia文章的段落构成的大约100,000个开放式问题集，附带了这些问题的答案。初始数据集不需要常识即可解决；问题几乎不需要推理，答案是直接来自段落的文本。为了使此数据集更具挑战性，后来发布了SQuAD 2.0（Rajpurkar et al., 2018），添加了约50,000个其他问题，这些问题依靠提供的段落无法解决。确定问题是否可回答可能需要外部知识，或者至少需要一些更高级的推理。可以从http://rajpurkar.github.io/SQuADexplorer/下载所有SQuAD数据。

CoQA：对话问答数据集包含段落，每个段落都带有一组对话形式的问题，以及它们的答案和答案的证据。数据集中总共有大约127,000个问题，但是由于它们是对话式的，因此与段落有关的问题必须按顺序一起回答。虽然CoQA的对话元素并不新鲜，例如Choi，He，Iyyer，Yatskar，Yih，Choi，Liang和Zettlemoyer的QuAC（2018），但CoQA的独特之处在于包括了与常识推理直接相关的问题，紧随Ostermann等（2018）解决对阅读理解数据集的不断增长的需求，这些数据集需要各种形式的推理。 CoQA还包括仅在测试集中出现的领域之外的问题以及无法回答的问题。可以从http://stanfordnlp.github.io/coqa/下载CoQA数据。

QuAC

OpenBookQA： Mihaylov et al.（2018）的OpenBookQA打算解决以前的QA数据集的缺点。较早的数据集通常不需要常识或任何高级推理即可解决，而那些需要大量知识的数据集则难以表示。OpenBookQA包含大约6,000个四选项选择题，可能需要科学事实或其他常识知识。MCScript（Ostermann et al., 2018）没有提供知识源，ARC提供一个包含大量事实的语料库来支撑回答问题（Clark et al., 2018），而 OpenBookQA提供了包含1,300个科学事实的``开放书本’'来支持回答问题，每个事实都与问题直接相关。对于所需的常识知识，作者希望可以使用外部资源来回答问题。可以在http://github.com/allenai/OpenBookQA中找到有关下载OpenBookQA的信息。

CommonsenseQA：Talmor，Herzig，Lourie和Berant（2019）的CommonsenseQA是直接针对常识的QA benchmark，类似CoQA（Reddy et al., 2018）和ReCoRD（Zhang，Liu，Liu，Gao，Duh和Van Durme, 2018） ），包含9,500个三选项选择题。为了确保强调常识，每个问题都需要将一个目标概念和ConceptNet中的三个关联概念区分开来。利用像ConceptNet这样的大型知识图谱，不仅可以确保问题直接针对常识关系，而且还可以确保问题所需的常识知识类型和推理高度不同。可以从http://www.tau-nlp.org/commonsenseqa下载CommonsenseQA数据。

DREAM（Dialogue-Based Reading Comprehension Examination）：

**DROP **：UCI

Cosmos QA（Commonsense Machine Comprehension）：UIUC、AI2、UW

MC-TACO（Multiple Choice Temporal Common-sense）

2.1.3 文本蕴涵

识别文本蕴涵是另一种综合任务。文本蕴含是由Dagan et al.（2005年）定义的文本和假设之间的定向关系。如果可以在给定文本条件下推断假设为真，则称文本蕴涵假设。有些任务还需要认识到矛盾来扩展这一点，例如第四次和第五次RTE挑战（Giampiccolo，Dang，Magnini，Dagan和Dolan, 2008; Bentivogli，Dagan，Dang，Giampiccolo和Magnini, 2009）。执行此类任务需要利用几种较简单的语言处理技能，例如释义（paraphrase，用不同的句子表达相同的含义），对象跟踪和因果推理，但是由于它还需要了解一般人的推断，常识知识通常对于文本蕴含任务至关重要。 RTE挑战（Dagan et al., 2005）是蕴含的经典benchmark，但是现在有一些受其启发的更大的benchmarks。这些benchmark的示例在图5中列出，它们需要常识知识，例如制作雪天使的过程以及人群的存在和孤独之间的关系。在以下各段中，我们将详细介绍所有文本蕴含benchmarks。

RTE Challenge。对常识推理的评估方案的早期尝试是“识别文本蕴含（RTE）挑战”（Dagan et al., 2005）。最初的挑战提供了一项任务，其中给定了文本和假设，希望系统可以预测文本是否包含假设。在随后的几年中，出现了更多类似的挑战（Bar-Haim，Dagan，Dolan，Ferro，Giampiccolo，Magnini和Szpektor, 2006年； Giampiccolo，Magnini，Dagan和Dolan, 2007年）。第四和第五次挑战赛增加了一项新的三选项决策任务，该任务还要求系统识别文本和假设之间的矛盾关系（Giampiccolo et al., 2008； Bentivogli et al., 2009）。第六和第七个挑战的主要任务提供了一个假设和语料库中的多个可能的句子（Bentivogli，Clark，Dagan和Giampiccolo, 2010年, 2011年）。第八次挑战赛（Dzikovska，Nielsen，Brew，Leacock，Giampiccolo，Bentivogli，Clark，Dagan和Dang, 2013年）解决了一个略微不同的问题，该问题侧重于归类学生的反应以在教育环境中提供自动反馈。前五个RTE挑战数据集分别包含约1,000个示例（Dagan et al., 2005； Bar-Haim et al., 2006； Giampiccolo et al., 2007, 2008； Bentivogli et al., 2009），而第六个和第七位分别由大约33,000和49,000个示例组成。所有RTE挑战赛的数据都可以从http://tac.nist.gov/下载。

**Conversational Entailment **

SICK。 Marelli et al.的“涉及合成知识的句子（SICK）”benchmark（2014a）是接近10,000对句子的集合。该数据集提供了两项任务，一项用于句子相关性，一项用于蕴涵性。与我们的调查更相关的包含任务是RTE-4（Giampiccolo et al., 2008）和RTE-5（Bentivogli et al., 2009）风格的三选项决策任务。可以从http://clic.cimec.unitn.it/composes/sick.html下载SICK。

SNLI。 Bowman et al.的斯坦福自然语言推理（SNLI）benchmark（2015年）包含将近60万个句子对，并提供了类似于第四次和第五次RTE挑战的三选项决策任务（Giampiccolo et al., 2008； Bentivogli et al., 2009）。除了包含，矛盾或中立的标签外，SNLI数据还包括对该标签的五个人对标签的判断，这可以表明对该标签的置信度或共识水平。该benchmark后来被扩展为MultiNLI（Williams et al., 2017），遵循相同的格式，但包括多种体裁的句子，例如电话对话。 MultiNLI包含在之前介绍的GLUE benchmark测试中（Wang et al., 2018），而SNLI可以从http://nlp.stanford.edu/projects/snli/下载。

SciTail。 Khot et al.的SciTail（2018）由大约27,000个前提假设句子对组成，这些句子对由科学问题改编而成，类似于第一个RTE挑战（Dagan et al., 2005）。与其他工作任务不同，该任务主要是基于科学的，它可能需要一些比日常常识更高级的知识。可以从http://data.allenai.org/scitail/下载SciTail。

SherLIiC

2.1.4 plausible inference

虽然文本蕴含benchmark要求得出具体的结论，但其他的benchmark则需要假设的、中间的或不确定的结论，即合情推理（plausible inference, Davis & Marcus, 2015），历史上也被称为溯因推理（Abductive reasoning）。这样的benchmark通常侧重于日常事件，其中包含各种各样的实践常识关系。这些benchmark的示例在图6中列出，它们要求日常互动（例如应门）和活动（例如烹饪）的常识。在以下各段中，我们介绍所有可能的推理常识基准。

COPA。 Roemmele et al.的“选择合理的选择（COPA）”任务（2011年）提供的每个前提都有两种可能的原因或结果。示例既需要正向因果推理，也需要反向因果推理，这意味着前提可以是正确选项的原因或结果。可以从http://people.ict.usc.edu/~gordon/copa.html下载共包含1,000个示例的COPA数据。

CBT。希尔，波德斯，乔普拉和韦斯顿（2015）的儿童读物测验（CBT）包括从公开的儿童读物中提取的约20句的段落中的约687,000个完形填空式问题。这些问题要求系统用给定一组10个候选单词中的一个来填充给定故事情节的一行中的空白。根据要预测的遗漏单词的类型，将问题分为4个任务，这些单词可以是命名实体、普通名词、动词或介词。可以从http://research.fb.com/downloads/babi/下载CBT。

ROCStories。 Mostafazadeh et al.的ROCStories（2016）是一个约有50,000个五句日常生活故事的语料库，其中包含事件之间的因果关系和时间关系，是学习常识知识规则的理想之选。在这50,000个故事中，约有3,700个被指定为测试用例，其中包括合理的和不合理的故事选项，供训练过的系统选择。解决ROCStories测试用例的任务称为Story Cloze Test，这是比Chambers和Jurafsky（2008）提出的叙述性Cloze任务更具挑战性的替代方法。 ROCStories的最新版本，可以在http://cs.rochester.edu/nlp/rocstories/上进行请求。

LAMBADA

JOCI。 Zhang et al.的JHU序贯常识推断（JOCI）基准（2016年）由大约39,000个句子对组成，每个句子对都包含上下文和假设。鉴于这些，系统必须在1到5的范围内对假设的可能性进行评估，其中1对应于不可能, 2对应于技术上的可能性，3对应合理，4对应可能，5对应非常可能。此任务类似于SNLI（Bowman et al., 2015）和其他三选项蕴含任务，但提供了更多选择，本质上介于蕴含和矛盾之间。考虑到与文本蕴含任务相比，合理的推理任务的模糊性，这很合适。 JOCI可以从http://github.com/sheng-z/JOCI下载。

CLOTH。 Xie，Lai，Dai和Hovy（2017）制定的教师完形填空测验（CLOTH）基准收集了来自中学和高中英语考试的近100,000种四项选择题填空式问题答案将在给定文本中填充空白。每个问题都标有其涉及的推理类型，其中四种可能的类型是语法，短期推理，匹配/释义和长期推理。可以从http://www.cs.cmu.edu/~glai1/data/cloth/下载CLOTH数据。

SWAG。 Zellers et al.（2018）的对抗生成（SWAG）是一个基准数据集，包含约113,000个小文本的开头，每个文本有四个可能的结尾。给定每个文本所显示的上下文，系统确定四个结尾中的哪个最合理。示例还包括用于正确结尾的来源的标签，以及每个可能结尾和正确结尾的可能性的序号标签。可以从http://rowanzellers.com/swag/下载SWAG数据。

ReCoRd。 Zhang et al.的“具有常识推理的阅读理解（ReCoRD）”基准 （2018）与SQuAD（Rajpurkar et al., 2016）相似，包括针对文章提出的问题，特别是新闻文章。但是，ReCoRD中的问题采用完形填空格式，需要更多的假设推理，并且许多问题明确需要常识推理才能回答。数据中标出了命名实体，用于填充完形任务的空白。基准数据包含超过120,000个示例，其中大多数声称需要常识推理。 ReCoRD可以从https://sheng-z.github.io/ReCoRDexplorer/下载。

HellsSWAG

AlphaNLI

2.1.5 直觉心理

在合情推理任务中，特别重要的知识领域是人类社会心理学领域，因为通过行为来推理情绪和意图是一项基本能力（Gordon, 2016）。一些基准的某些示例涉及社会心理学，例如，图6中的ROCStories中的求婚示例（Mostafazadeh et al., 2016），有些基准则完全集中在这方面。每个基准的示例在图7中列出，它们要求社会心理学常识，例如对被打或大喊的合理反应。在以下段落中，我们将详细介绍这些基准。

Triangle-COPA。Gordon（2016）的Triangle-COPA是COPA的一种变体（Roemmele et al., 2011年），基于流行的社会心理学实验。它包含100个COPA格式的示例和配套视频。问题专门针对情绪、意图和其他社会心理学的各个方面。数据还包括问题和选项的逻辑形式，因为该论文的重点是心理学常识的逻辑形式。三角形-COPA可以在http://github.com/asgordon/TriangleCOPA下载。

Story Commonsense。如前所述，Mostafazadeh et al.的ROCStories故事（2016）有很多常识的社会学和心理学实例。受心理学的动机和情感的经典理论启发，Rashkin等 （2018a）创建了Story Commonsense（SC）基准，其中包含ROCStories中角色的动机和情感的约160,000个标注，以实现该领域的更具体的推理。除了生成动机和情感标注的任务外，该数据集还引入了三种分类任务：一种用于推断由Maslow（1943）提出的人类基本需求，一种用于推断由Reiss（2004）提出的人类动机，另一种用于推断Plutchik（1980）提出的人类情感。可以从http://uwnlp.github.io/storycommonsense/下载SC。

Event2Mind。除了动机和情感外，系统可能还需要推断围绕事件的意图和反应。为了支持这一点，Rashkin等（2018b）引入Event2Mind，这是一个基准数据集，包含从其他语料库（包括ROCStories）中提取的约25,000个独特事件的约57,000个意图和反应标注（Mostafazadeh et al., 2016）。每个事件都涉及一个或两个参与者，并提出了三个任务来预测主要参与者的意图和反应，以及预测其他参与者的反应。可以从http://uwnlp.github.io/event2mind/下载Event2Mind。

SocialIQA：the authors show that when fine-tuned on SocialIQA, deep learning models perform better when later fine-tuned on smaller-magnitude benchmarks which require commonsense knowledge.

2.1.6 多任务

某些基准包含一些重点的语言处理或推理任务，以便可以以一致的格式逐一学习阅读理解技能。虽然bAbI包括某些共指消解任务，但在其他任务中还包括某些先决条件，例如关系提取（Weston et al., 2016）。同样，对情感、释义、语法甚至双关语的识别都集中在DNC基准内的不同任务中（Poliak et al., 2018a）。表1通过它们提供的语言处理任务的类型，对所有这些多任务常识基准进行了比较。在以下段落中，我们将详细介绍这些基准。

bAbI。Weston et al.的bAbI基准（2016）包含20个先决条件任务，每个任务包含1,000个训练示例和1,000个测试示例。每个任务为系统提供一段内容，然后询问阅读理解问题，但是每个任务都专注于不同类型的推理或语言处理任务，从而使系统一次学习一种基本技能。任务如下：

1.单个支持事实2.两个支持事实3.三个支持事实4.两个参数关系5.三个参数关系6.是/否问题7.计数8.列表/集合9.简单否定10.不确定知识11.基本共指12.连词13.复合共指14.时间推理15.基本演绎16.基本归纳17.位置推理18.大小推理19.路径查找20.代理的动机

除了提供之前讨论的语言处理任务外，bAbI还提供了需要特殊类型的逻辑和物理常识知识的常识推理任务，例如其演绎和归纳任务以及时间、位置和大小推理（Weston et al., 2016）。这些任务的选定示例在图8中给出，并且要求具有常识知识，例如动物物种的成员通常都具有相同的颜色，以及对象的大小与其相互容纳能力之间的关系。可以从http://research.fb.com/downloads/babi/下载bAbI。

Inference is Everything。White et al.的推理就是一切（IIE）（2017）遵循bAbI（Weston et al., 2016）创建了一系列任务，其中每个任务都专门针对不同的语言处理任务：语义原型角色标注、释义和代词解析。每个任务都是经典的RTE挑战格式（Dagan et al., 2005），即给定上下文和假设文本，必须确定上下文是否包含假设。在这些任务中，IIE包括大约300,000个示例，所有这些示例都是通过改写从前的数据集得到的。可以通过http://github.com/decompositionalsemantics-initiative/DNC上的另一个多任务套件下载IIE。

GLUE。 Wang et al.的通用语言理解评估（GLUE）数据集（2018）包括9种专注于各种形式的更综合的任务，包括单句二进制分类和相当于RTE-4和RTE-5中的两个任务（Giampiccolo et al., 2008; Bentivogli et al., 2009）的2或3选项蕴涵。这些任务中的大多数要么直接与常识相关，要么对创建利用传统语言过程（如释义）进行常识推理的系统很有用。 GLUE任务重写或直接提取其他基准数据和语料库中的句子：

• Warstadt，Singh和Bowman的语言可接受性语料库（CoLA）（2018）
• Socher，Perelygin，Wu，Chuang，Manning，Ng和Potts（2013）的斯坦福情感树库（SST-2）
• 来自Iyer，Dandekar和Csernai（2017），Dolan和Brockett（2005）的Microsoft Research Paraphrase语料库（MRPC）
• 来自Iyer et al.（2017）的Quora问题对（QQP）
• Cer，Diab，Agirre，Lopez-Gazpio和Specia（2017）的语义文本相似性基准（STS-B）
• Williams et al.（2017）的多风格自然语言推理（MNLI）。
• 问题自然语言推理（QNLI）从SQuAD 1.1重铸了Rajpurkar et al.（2016）
• 认知文本蕴涵（RTE），包括RTE-1（Dagan et al., 2005），RTE-2（Bar-Haim et al., 2006），RTE-3（Giampiccolo et al., 2007）和RTE-5（Bentivogli et al., 2009年）
• 重写Winograd Schema Challenge Levesque（2011）的创建者私下共享的Winograd模式得到的Winograd自然语言推理（WNLI）

GLUE包含用于诊断目的的小型分析集，其中具有对落入其中的句对人工标注为细粒度的类别（例如，commonsense），并且标注了示例的反向版本。总体而言，GLUE拥有超过一百万个示例，可以从http://gluebenchmark.com/tasks下载。

DNC。 Poliak et al.的多种自然语言推理集合（DNC）（2018a）包含9个文本蕴含任务，需要7种不同类型的推理。就像White et al.的IIE（2017年），每个任务的数据遵循原始RTE挑战的形式（Dagan et al., 2005）。 DNC中的某些任务涵盖了所有推理系统所需的基本推理技能，而其他任务则涵盖了需要常识的更具挑战性的推理技能。每个任务都通过重写以前的数据集得到：

1. 事件事实，通过重写UW（Lee，Artzi，Choi和Zettlemoyer, 2015年），MEANTIME（Minard，Speranza，Urizar，Altuna，van Erp，Schoen和van Son, 2016年）和（Rudinger，White， & Van Durme, 2018b）得到

2. 命名实体识别，从Groningen Meaning Bank（Bos，Basile，Evang，Venhuizen和Bjerva, 2017）和ConLL-2003共享任务（Tjong Kim Sang & De Meulder, 2003）重写得到

3. 性别照应消解（Gendered Anaphora Resolution），通过重写Winogender数据集（Rudinger et al., 2018a）得到

4. 词法推理，重写MegaVeridicality（White和Rawlins, 2018年࿰