神经机器阅读理解最新综述：方法和趋势

作者丨刘姗姗

学校丨国防科技大学

研究方向丨自然语言处理

近年来，基于深度学习方法的机器阅读理解受到了广泛的关注。近日，来自国防科技大学的团队在arXiv上发布了预印版综述文章 Neural Machine Reading Comprehension: Methods and Trends。

该文总结了神经机器阅读理解领域的经典方法与新兴趋势，并对一些有待解决的开放性问题进行了讨论。想要快速了解这一领域的读者，不妨可以从这篇论文看起。

引言

机器阅读理解（MachineReading Comprehension, MRC）任务主要是指让机器根据给定的文本回答与文本相关的问题，以此来衡量机器对自然语言的理解能力。这一任务的缘起可以追溯到 20 世纪 70 年代，但是受限于小规模数据集和基于规则的传统方法，机器阅读理解系统在当时并不能满足实际应用的需求。

这种局面在 2015 年发生了转变，主要归功于以下两点：1）基于深度学习的机器阅读理解模型（神经机器阅读理解）的提出，这类模型更擅长于挖掘文本的上下文语义信息，与传统模型相比效果提升显著；2）一系列大规模机器阅读理解数据集的公布，如 CNN & Daily Mail [1]、SQuAD [2]、MS MARCO [3] 等，这些数据集使得训练深度神经模型成为可能，也可以很好的测试模型效果。神经机器阅读理解在近几年逐渐受到越来越多的关注，成为了学术界和工业界的研究热点。

本文对神经机器阅读理解的方法和新趋势进行了详尽的总结，主要分为以下几点：

• 介绍了典型的机器阅读理解任务，给出公式化定义与代表性数据集，并对不同任务进行了比较；

• 给出了机器阅读理解系统的基本框架，其中包括：嵌入编码、特征提取、文章-问题交互和答案预测四个模块；

• 介绍了机器阅读理解领域近两年出现的新兴研究趋势，并对一些有待解决的开放性问题进行了讨论。

任务

常见任务介绍

参考陈丹琦 [4] 在她的博士毕业论文中的观点，常见的机器阅读理解任务按照其答案形式可以分为以下四类：完形填空、多项选择、片段抽取和自由作答。

完形填空

任务定义：给定文章 C，将其中的一个词或者实体 a (a∈C) 隐去作为待填空的问题，完形填空任务要求通过最大化条件概率 P(a|C-{a}) 来利用正确的词或实体 a 进行填空。

完形填空任务在英语考试中非常常见。如 CLOTH [8] 中的例子所示，原文中的某个词被隐去，我们需要找到正确的词进行填空，使原文变得完整（虽然 CLOTH 数据集中提供了备选答案，但是这在完形填空任务中并不是必需的）。

代表数据集：CNN & Daily Mail [1]、CBT [5]、LAMBADA [6]、Who-did-What [7]、CLOTH [8]、CliCR [9]

多项选择

任务定义：给定文章 C、问题 Q 和一系列候选答案集合，多项选择任务通过最大化条件概率来从候选答案集合 A 中挑选出正确答案回答问题 Q。

多项选择也是英语考试中的常见题型。如 RACE [11] 中的例子所示，根据文章内容提出一个相关问题，同时给出若干个候选答案，我们需要从候选答案中选择出能正确回答问题的答案。

代表数据集：MCTest [10]、RACE [11]

片段抽取

任务定义：给定文章 C（其中包含 n 个词，即）和问题 Q，片段抽取任务通过最大化条件概率 P(a|C,Q) 来从文章中抽取连续的子序列作为问题的正确答案。

片段抽取任务要求从原文中抽取一个连续的句子（或词组）作为问题的答案。如 SQuAD [2] 中的例子所示，原文中的 inherentdifficulty