SIGIR 2019 | Document Gated Reader for Open Domain Question Answering

基于深度学习的模型，目前也存在一些问题，例如质量不太好的远距离监督数据和答案的分数没有在多文档间归一化。更有甚者，他们单独处理每个文档，而忽略了上下文之间的信息。这个处理方法与之前的开放域问答系统不相同。在该论文中，作者提出了一个DGR（document gated reader），这个模型使用了若干个文档去生成正确的答案。作者提出的文档级别的门操作去决定问题和文档之间相关性，并且把他们嵌入到答案生成的过程中，通过全局代价函数去优化它。作者还提出了一个bootstrap的方法去获得高质量的训练数据。

引言

在ODQA（Open Domain Question Answer，开放域问答）里面，之前的方法存在了若干的问题。例如，被检索出来的前几个文档里面不存在正确答案。而有些则是答案的产生过程是没有经过标准化的，导致正确的答案，被分配了比较低的概率。更有的是，因为有些数据集是没有正确的文档，只知道了问题和答案。如果选择包含答案的文档作为正确的索引文档，则存在假阳样本的可能，对模型的训练造成一定的劣化。
该论文主要从两个方面解决上面的几个问题。在模型方面，通过对阅读理解模型添加多文档模块，提出了DGR（Document Gated Reader）。其中的多文档模块可以建模文档与问题之间相关度。在数据方面，作者使用了一个bootstrap的方法去获得了高质量的远距离监督数据。先使用可信度比较的种子数据去训练模型，然后用这个训练后的模型去预测没有标签的数据，选择分数比较高的数据加入到训练数据里面，再次进行训练。重复这个过程，直到模型性能没有再提升或者已经达到终止的步数。

Document Gated Reader

在ODQA里面，给定一个$q$，我们会检索出许多文档D，有些文档可以回答问题，有些则不能。若果正确的答案在文档里面，我们只需要预测它的起始位置和结束位置即可。
DGR的结构如图1所示。

Reader

对于Reader，主要包含了五个方面的内容的，分别为：Word Embedding Layer、Low-level Representation Layer、Question Attention Layer、High-level Representation Layer和Prediction Layer。
在Word Embedding Layer，对document和question里面的词均串联从了GloVe和Cove、Elmos获得的Embedding，对于document里面的词，还增加了从question过来的注意力。对于document和question的embedding最终输出表示分别为：$e_1,...,e_n$和$w_1^Q,...,w_m^Q$。
在Low-level Representation Layer，使用Bi-LSTM对document和question的embedding进行编码获得，各自编码表示。计算公式如下所示：

在Question Attention Layer，主要是document对question进行注意。计算公式如下所示：

其中，$U$和$V$是两个可训练的矩阵。f()是一个Relu非线性函数。
在High-level Representation Layer，使用Bi-LSTM对Question Attention Layer输出的向量进行编码，计算公式如下所示：

在Prediction Layer，主要是预测正确答案所在的范围。可以使用两个独立的分类器去预测答案的开始位置和结束位置。计算公式如下所示：

Document Gate

Document gate是本文提出另外一个结构，去计算问题和文档之间的相关度。结构如图2所示。

Document Gate主要由两个不同的layer组成。分别为Convolutional Attention Pooling和LSTM Attention Globalization。对于Convolutional Attention Pooling主要的计算公式如下所示：



对于LSTM Attention Globalization这个模块，计算公式如下所示：

模型训练

优化函数

在训练阶段，作者使用了正确标注的答案作为标签进行学习。概率具体代价函数及其计算如下所示：

数据生成策略

该数据生成策略就是使用可信度比较高的种子数据训练一个模型，然后用这个模型去预测，获得得分比较高的样本，作为正样本加入训练数据里面，然后再次训练直到模型性能不再提高或者满足终止条件。流程图如图3所示。

实验

使用SQuAD、SearchQA、WebQuestion和WikiMoviews等数据进行实验。实验结果如图4所示。

在图4的实验中，$DG{R}_{PPL}$是指document reader和document gate分开分别训练，而不是作为一个联合模型进行训练。BD是指使用Bootstrap生成的数据加入到训练里面。DG是指Document Gate。从图4可以看出，在不同的数据集上面，DGR都会远远超过之前的方法。

结论

该论文指出了在ODQA正确使用阅读理解模型的的方式。阅读理解模型只是智能问答系统中的一个环节。目前，这些模型在给定的数据集上面都表现出了接近甚至超越人的表现，但是当真实地应用在真实的场景时，表现不尽如人意。相信以后像该论文一样在真实场景中应用这些阅读理解模型将是研究的重点。

扫码识别关注，获取更多新鲜论文解读