Multi-Perspective Context Matching for Machine Comprehension 论文阅读笔记

Multi-Perspective Context Matching for Machine Comprehension

原文链接：https://arxiv.org/abs/1612.04211

---

摘要部分

        以前的机器理解(MC)数据集要么太小，无法训练最终的深度学习模型，要么难以评估当前阅读理解技术的能力。新发布的SQuAD数据集消除了这些不利因素，并给我们一个机会来研究一个更好的阅读理解模型。基于此数据集，我们提出了一个多视角上下文匹配Multi-Perspective Context Matching(MPCM)模型，它是一个end-to-end系统，直接预测答案的开头和结尾点。我们的模型首先优化了文章中的每一个词向量，方法是根据问题计算出相关权重。然后，利用双向LSTMs对问题和加权通道进行编码。对于文章中的每一点，我们的模型从多个角度将这一点的上下文与编码问题进行匹配，并生成一个匹配向量。对于匹配的向量，我们使用另一个双向的LSTM来聚合所有的信息并预测起始点和结束点。实验结果表明，该模取得了良好效果。

简介部分

前两部分略~
        为了解决之前MC数据集的不足，Rajpurkar等人(2016)开发了斯坦福问答数据集(SQuAD)。与其他数据集相比，SQuAD数据集更加真实和具有挑战性，原因有以下几个：

• (1)比以前手动标记的数据集大了两倍;
• (2)所有问题都是人工编写的，而不是自动生成的完形填空式问题;
• (3)答案可以是文章中的任意范围，而不是有限的一组选择或实体;
• (4)回答这些问题需要不同形式的推理。

        在这项工作中，我们关注的是SQuAD数据集，并提出了一个端到端深度神经网络模型来机器阅读理解。我们的基本假设是，如果这个范围的上下文和问题非常相似，那么这个范围很有可能是正确答案，基于这一假设，我们设计了一个多视角上下文匹配(Multi-Perspective Context Matching, MPCM)模型，通过从多个角度将文章中的每个点的上下文与问题进行匹配来识别答案范围。我们的模型不是明确地列举所有可能的跨度并对它们进行排序，而是通过用贯穿全文的全局标准化概率分布分别预测起点和终点来确定答案范围。实验结果表明，该模型在取得了较好的效果。