论文笔记&翻译——Enhanced LSTM for Natural Language Inference(ESIM)

0.前言

在Query 扩召回项目中，通过各种手段挖掘出一批同义词，想对其进行流程化，所以考虑加上语义推断，在同事的推荐下使用了 ESIM 模型，据了解这个模型在近两年横扫了好多比赛，算是 NLI (Natural Language Inference) 领域未来几年一个很难绕过的超强 baseline 了，单模型的效果可以达到 88.0% 的 Acc。

ESIM模型出自 Qian Chen 等人发表在 ACL2017 上的 Enhanced LSTM for Natural Language Inference

顾名思义，一种专为自然语言推断而生的加强版 LSTM，从文中得出主要改进在于

Unlike the previous top models that use very complicated network
architectures, we first demonstrate that carefully designing sequential inference
models based on chain LSTMs can outperform all previous models.
Based on this, we further show that by explicitly considering recursive
architectures in both local inference modeling and inference composition,
we achieve additional improvement.

总结一下主要是：

1. 精细的设计序列式的推断结构。
2. 考虑局部推断和全局推断。

接下来看看模型结构

1. 模型结构

文中给出的模型结构如下：

ESIM主要分为三部分：input encoding，local inference modeling 和 inference composition。如上图所示，ESIM 是左边一部分。

1.1 input encoding

Input Encoding 就是输入两句话分别接 embeding+ BiLSTM, 使用复用的 双向LSTM(biLSTM )单元分别对 p （ 前提 Premise）和 h （假设 Hypothesis）进行编码，得到 $\bar{a}$, $\bar{b}$。

$${\bar{a}}_i=BiLSTM(a,i),\forall i\in [1,2,...,l_a]$$

$${\bar{b}}_j=BiLSTM(b,j),\forall j\in [1,2,...,l_b]$$
使用 BiLSTM 可以学习如何表示一句话中的 word 和它上下文的关系，我们也可以理解成这是 在 word embedding 之后，在当前的语境下重新编码，得到新的 embeding 向量。

1.2 local inference modeling

使用 Decomposable Attention 分别对 p 和 h 做权重计算，得到 attention 权重 $\hat{a}$ ,$\hat{b}$

a i ^ = ∑ j = 1 l b exp ⁡ e i j ∑ k = 1 l b exp ⁡ ( e i k ) b ˉ , ∀ i ∈ [ 1 , 2 ,