Read + Verify: Machine Reading Comprehension with Unanswerable Questions 论文阅读笔记

原文链接：http://cn.arxiv.org/pdf/1808.05759

---

Read + Verify: Machine Reading Comprehension with Unanswerable Questions

 本篇文章创新点：

• 1 提出了reader - vertify 结构，首先生成一个答案，再验证答案的合理性
• 2 提出了三种模型
• 3 提出了两个独立的loss函数作为辅助

摘要部分

          没有答案的情况也是机器阅读理解的任务之一，目的是在无法推断答案的情况下不进行回答。之前的工作主要集中在预测没有答案的概率来判断是否有答案，然后他们并没有通过考虑判断答案的合理性性来判断答案是否存在，因此作者提出一种read-then-vertify的模型，它不仅能够利用神经网络从候选答案中进行抽取，并且产生无答案概率，而且利用一个答案验证器来决定预测的答案是否来源于输入的片段。此外，引入两个新的loss函数来辅助reader模型能够更好的解决答案抽取过程中没有答案的情况。然后再SQuAD数据集上取得了优异的结果。

一 、简介部分

        首先感谢前人的工作。然而，当前所研究方法基于一个重要的假设就是在文章的范围内必定存在一个正确的答案。因此，模型只需要根据问题选择一个最合理的文章范围，而不需要检查答案是否存在。最近SQuAD 2.0提出测试问题答案并且解决没有答案的情况，为了处理无法回答的问题，系统必须学会识别大量的语言现象，如否定、反义词和问题之间的实体变化。

之后就是related work，存在的问题就是前人的工作没有验证所生成的答案是否合理，为了解决上述问题，本文提出了一种新的“read-then-vertify”系统。如图1所示，我们的系统由两个部分组成：

• (1)一个用于提取候选答案和检测无法回答问题的无答案阅读器;
• (2)一个用于决定提取的候选答案是否合法的答案验证器

主要工作主要集中在以下三个方面：

        首先，我们在现有的阅读器上增加了两个辅助的loss函数，这两个函数能够使模型更好的抽取答案，并且也能够检测没有答案的情况。由于在后续的验证阶段总是需要一个答案，因此对于不能回答的答案reader模型也要抽取一个答案。然而，以前的方法并没有解决答案不存在时候的情况。作者通过引入一个独立的损失函数来解决这个问题，该损失函数目的在于问题答案的提取，而不考虑答案的存在清理。为了不与无答案检测过程相冲突，利用一个多头网络生成两个得分，其中一个得分是对没有答案概率进行标准化，另一对用于辅助损失函数。此外，我们还提出了另一种没有答案时候的损失函数，以进一步减轻冲突，方法是将重点放在无答案检测任务上，而不考虑答案抽取任务。

        其次，除了一般的阅读理解过程，作者还引入了一个额外的答案验证环节，旨在通过比较回答句和问题，找到支持答案的佐证。这是基于一种常识性的认识，无法回答的问题通常出现在一些段落词和问题词之间。以图1为例，在将文章片段“诺曼底，法国的一个地区”与问题进行比较后，我们可以很容易地确定没有答案存在，因为问题要求一个不可能的条件。我们研究了三种用于回答验证模型的体系结构。第一个是序列模型，它把两个句子作为一个长序列，而第二种方法则是在两个句子之间进行交互推理。最后是一个混合模型，它结合了上述两个模型的优点并进一步提高。

        最后，我们在SQuAD 2.0(Rajpurkar et al.， 2018)上评估了我们的系统，这是一个增加了无法回答问题的阅读理解基准。我们最好的reader model在开发集上的F1得分为73.7和69.1，无论有没有使用ELMo embeddings (Peters et al.， 2018)。结合答案验证器，整个系统分别提高到74.8 F1和72.3 F1。此外，最好的系统在测试集上的得分为74.2 F1，在提交时超过了之前的所有方法。

二、背景部分

2.1 问题综述