Bilateral Multi-Perspective Matching for Natural Language Sentences论文笔记

自然语言句子的双向多视角匹配

INTRODUCTION

自然语言句子匹配（NLSM）是指对两个句子比较，确定他们的关系，可以完成释义识别，判断两个是否有释义；对于自然语言推理任务，用来判断假设句是否可以从前提句中推断出来；对于问答和信息检索任务，用于评估问答对之间的相关性；对于机器理解任务，用于匹配文章与问题。
目前有两种用于NLSM的深度学习框架，第一种是基于“孪生”结构，将同一个神经编码器分别应用于两个输入句子，使这两个句子都被编码到同一个嵌入空间的句子向量中，然后基于这两个句子向量进行匹配。这个框架的优点是参数共享，使模型更小，更容易训练，句子向量可以用于可视化、句子聚类等多种目的。缺点是在编码过程中，两句话没有明确的交互作用，可能会丢失一些重要的信息。针对这个问题，提出了“匹配-聚合”框架。
在匹配聚合框架中，首先对两个句子的较小单位（比如单词或上下文向量）进行匹配，然后将匹配结构聚合为一个向量进行最终的判断。这样的框架捕获了两句话之间更多的交互特征，因此在任务中得到了很大的提升。然而，以往的方法具有一定局限性，首先，一些方法只探索了逐字匹配，但忽略了其他粒度匹配（比如逐句匹配）；第二，只在一个方向上进行匹配而忽略相反的方向。

为了解决这些限制，文章基于匹配-聚合框架提出了一中双边的多视角匹配方法，给定两个句子，首先用Bilstm进行编码，然后在两个方向上进行匹配，在每个匹配方向上，句子1的每个时间步长都从多个角度与句子2的所有时间步长进行匹配，然后，利用另一个lstm层将匹配结构聚合为一个固定长度的匹配向量，最后基于匹配向量，通过全连接层进行决策，并在三个NLSM任务上评估模型：释义识别、语义推断和答案选择任务，通过实验表明，模型在所有任务上都达到了最先进的性能。

Task Definition

将每个NLSM任务表示为一个三元组（P，Q，y），P是长度为M的句子，Q是长度为N的句子，y是label。