基于潜在聚类的比较聚合模型在答案选择中的应用

摘要

作者利用预训练模型计算输入文本的向量表示并应用了迁移学习的方法。作者提出了基于潜在聚类的比较聚合模型，来计算目标语料库中的附加信息，并将目标函数从列表式变为点式，从而增强了比较聚合模型。

方法

1 Comp-Clip 模型

该模型是作者使用的基线模型，有四个部分组成：

（1）文本表示：问题Q和答案A都用向量表示。

（2）注意力机制：每个元素的软对齐都是通过动态的clip注意力计算的

（3）比较：用一个比较函数去匹配问题和答案中的每一个单词。

（4）聚合：CNN去聚合比较层中的向量，并计算最终的Q和A的匹配分数

2 模型使用方法：

为了实现回答选择任务的最优表现，作者提出了了四个方法，增加预训练模型，增加每个句子的潜在聚合信息作为辅助知识库。应用迁移学习去从大型语料库获取有用的数据，修改目标函数（把列表式作为点乘式）

增加预训练模型：用ELMO模型替代单词嵌入层。

潜在聚合方法：抽取文本的潜在的聚合的信息作为辅助信息帮助神经网络理解语料库。

应用迁移学习：利用迁移学习的方法获得大型语料库的有效数据。

修改目标函数：利用点乘式方法去排列答案

实验结果：

 

 

数据集：

WIKIQA数据集是使用必应查询和维基百科构造的答案选择市问答数据集。

TREC-QA是另一个从TREC问题答案轨道创建的答案选择QA数据集，可以用于进行答案选择式问答。

QNLI是SQuAD数据集的修改版本，也是可以用于进行答案选择式问答。

结论：

在本研究中，我们提出的方法在WikiQA数据集和TREC-QA数据集上都达到了最先进的性能。我们表明，利用大量的数据对于捕获输入文本的上下文表示至关重要。此外，我们还证明了本文提出的带有逐点目标函数的潜在聚类方法在句子级问答任务中显著提高了模型的性能。