论文笔记 | Simple and Effective Text Matching with Richer Alignment Features

---

作者：李瑾

单位：燕山大学

---

论文地址： https://arxiv.org/pdf/1908.00300.pdf
代码地址：https://github.com/hitvoice/RE2

---

一、 概述

  文本匹配任务是自然语言处理的核心任务。包括自然语言推断（Natural Language Inference）、释义识别（Paraphrase Identification）、回答选择（Answer Selection）等众多的任务。因此，对于通用文本匹配模型的研究非常重要。
  论文提出了RE2模型，作者在SNLI、SciTail 、Quora Question 、WikiQA数据集上分别与之前的模型做了比较。相比较之前的模型来说，RE2模型的速度更快，鲁棒性也有所提升，同时在不同的文本匹配任务上都取得更好的效果。

二、 模型

2.1 模型介绍

  图中的白色矩形表示词向量，带条纹的矩形表示经过模块输出后的残差向量，黑色矩形表示经过Encoder编码后的向量。
  在RE2模型中，将需要进行文本匹配的文本分别输入图中所示模型（右侧模型与左侧一致）。将Encoder、Alignment和Fusion打包成一个块，连续堆叠N次。在块中，将Encoder得到的向量与它的输入进行拼接作为Alignment和Fusion的输入，在每一次堆叠的过程中都将上一次Fusion的结果作为Encoder输入。最后将N次堆叠结果送入Polling层，通过预测层得到结果。需要注意的是，两段文本的Alignment参数是共享的，但N个块的参数都是独立的。

2.2 Augmented Residual Connections

  为了为Alignment提供丰富的文本特征，作者使用增强剩余连接来连接打包好的块。
第n个块 $x^{(n)}$(n≥2)的输入是拼接第一个块$x^{(1)}$的输入与前两个块的输出之和的结果：
$$x_i^{(n)}=[x_i^{(1)};o_i^{(n-1)}+o_i^{(n-2)}]$$
  使用剩余残差连接，使得融合和对齐的输入均包括了嵌入特征、残差特征和通过Encoder编码的上下文序列特征。作者对着三种特征均做了消融实验，实验结果表明，三种特征在文本匹配的过程中均起到了作用。

2.3 Alignment Layer

  在对齐的过程中，作者使用文本a($a=a_1,a_2,....a_{l_a}$)和文本b($b=b_1,b_2,....b_{l_b}$)的相同位置的向量点积作为投影向量，以此来衡量相似度($e_{ij}$)：
$$e_{ij}=F(a_i{)}^{T}F(b_j)$$
  Alignment层的输出向量( a ′