SQuAD文本理解挑战赛十大模型解读

在斯坦福大学发起的 SQuAD（Stanford Question Answering Dataset）文本理解挑战赛中，微软亚洲研究院和阿里巴巴的 R-NET 模型和 SLQA 模型在 EM 值（表示预测答案和真实答案完全匹配）上分别以 82.650 和 82.440 的成绩率先超过人类（82.304）。

作者丨胡明昊

学校丨国防科学技术大学博士生

研究方向丨自动问答系统

引言

教机器学会阅读是近期自然语言处理领域的研究热点之一，也是人工智能在处理和理解人类语言进程中的一个长期目标。得益于深度学习技术和大规模标注数据集的发展，用端到端的神经网络来解决阅读理解任务取得了长足的进步。

本文是一篇机器阅读理解的综述文章，主要聚焦于介绍公布在 SQuAD（Stanford Question Answering Dataset）榜单上的各类模型，并进行系统地对比和总结。

SQuAD 简介

SQuAD 是由 Rajpurkar 等人 [1] 提出的一个最新的阅读理解数据集。该数据集包含 10 万个（问题，原文，答案）三元组，原文来自于 536 篇维基百科文章，而问题和答案的构建主要是通过众包的方式，让标注人员提出最多 5 个基于文章内容的问题并提供正确答案，且答案出现在原文中。

SQuAD 和之前的完形填空类阅读理解数据集如 CNN/DM [2]，CBT [3] 等最大的区别在于：SQuAD 中的答案不在是单个实体或单词，而可能是一段短语，这使得其答案更难预测。

SQuAD 包含公开的训练集和开发集，以及一个隐藏的测试集，其采用了与 ImageNet 类似的封闭评测的方式，研究人员需提交算法到一个开放平台，并由 SQuAD 官方人员进行测试并公布结果。

△ 图1：一个（问题，原文，答案）三元组

模型

自从 SQuAD 数据集公布以来，大量具有代表性的模型纷纷涌现，极大地促进了机器阅读理解领域的发展，下面就 SQuAD 榜单上代表性的模型进行介绍。

总的来说，由于 SQuAD 的答案限定于来自原文，模型只需要判断原文中哪些词是答案即可，因此是一种抽取式的 QA 任务而不是生成式任务。

几乎所有做 SQuAD 的模型都可以概括为同一种框架：Embed 层，Encode 层，Interaction 层和 Answer 层。

Embed 层负责将原文和问题中的 tokens 映射为向量表示；Encode 层主要使用 RNN 来对原文和问题进行编码，这样编码后每个 token 的向量表示就蕴含了上下文的语义信息；Interaction 层是大多数研究工作聚焦的重点，该层主要负责捕捉问题和原文之间的交互关系，并输出编码了问题语义信息的原文表示，即 query-aware 的原文表示；最后 Answer 层则基于 query-aware 的原文表示来预测答案范围。

△ 图2：一个高层的神经 QA 系统基本框架，来自[8]

Match-LSTM

Match-LSTM [4] 的 Answer 层包含了两种预测答案的模式，分别为 Sequence Model 和 Boundary Model。

Sequence Model 将答案看做是一个整数组成的序列，每个整数表示选中的 token 在原文中的位置，因此模型按顺序产生一系列条件概率，每个条件概率表示基于上轮预测的 token 产生的下个 token 的位置概率，最后答案总概率等于所有条件概率的乘积。

Boundary Model 简化了整个预测答案的过程，只预测答案开始和答案结束位置，相比于 Sequence Model 极大地缩小了搜索答案的空间。

最后的实验也显示简化的 Boundary Model 相比于复杂的 Sequence Model 效果更好，因此 Boundary Model 也成为后来的模型用来预测答案范围的标配。 

在模型实现上，Match-LSTM 的主要步骤如下： 

• Embed 层使用词向量表示原文和问题；