自然语言推理入门：ESIM

Enhanced LSTM for Natural Language Inference

ESIM是ACL2017的一篇论文，在当时成为各个NLP比赛的杀器，直到现在仍是入门自然语言推理值得一读的文章。

本文根据ESIM原文以及pytorch代码实现对ESIM模型进行总结，有些地方的叙述保持了与代码一致而和原文不一致，比如在embedding处与原文就不完全一致，原论文只使用了我下面所写的initial embedding，不过在代码性能上应该是不会比原文的更差的，因为代码过长，仅放一些伪代码帮助理解。

介绍 Introduction

自然语言推断 NLI

NLI任务主要是关于给定前提premise和假设hypothesis，要求判断p和h的关系，二者的关系有三种：1.不相干 neural，2.冲突 contradiction，即p和h有矛盾，3.蕴含 entailment，即能从p推断出h或两者表达的是一个意思。

为什么要研究自然语言推理呢？简单来讲，机器学习的整个系统可以分为两块，输入，输出。输入要求我们能够输入一个机器能理解的东西，并且能够很好的表现出数据的特点，输出就是根据需要，生成我们需要的结果。也可以说整个机器学习可以分为Input Representation和Output Generation。因此，如何全面的表示输入就变得非常重要了。而自然语言推理是一个分类任务，使用准确率就可以客观有效的评价模型的好坏；这样我们就可以专注于语义理解和语义表示。并且如果这部分做得好的话，例如可以生成很好的句子表示的向量，那么我们就可以将这部分成果轻易迁移到其他任务中，例如对话，问答等。这一切都说明了研究自然语言推理是一个非常重要而且非常有意义的事情。

下面从Stanford Natural Language Inference (SNLI) corpus数据集里举几个例子：

A woman with a green headscarf , blue shirt and a very big grin(咧嘴笑).

The woman is very happy .

上面两个句子就是entailment(蕴含)，因为女人在笑着，所以说她happy是可以推断出来的。

A woman with a green headscarf , blue shirt and a very big grin .

The woman is young .

neutral

冲突矛盾(contradiction)的例子

A woman with a green headscarf , blue shirt and a very big grin.

The woman has been shot .

contradiction

她中枪了怎么可能还咧嘴笑呢？

模型架构 Models

输入编码 Input Encoding

输入两个句子，从one-hot经过embedding层，有两个embedding层，分别是initial embedding(ie) 和 pretrained embedding(pe)，都使用预训练好的词向量初始化，词向量维度为$l$，不同的是 ie 的词表规模是训练集语料的单词个数，pe 的词表规模就是预训练文件所包含的单词数，且 pe 参数被冻结，ie中没被包含在预训练文件的OOV单词使用高斯分布随机生成，且所有embedding的方差都被normalize到1，得到$premise=a=(a_1,...,a_{l_a})$和$hypothesis=b=(b_1,...,b_{l_b})$，每个单词的表示是一个 $R^{2l}$ 的向量，由其在 ie 和 pe 中对应的词向量 concat 得到，$l$ 为预训练词向量维度，

src_words, src_extwords_embed, src_lens, src_masks,
tgt_words, tgt_extwords_embed, tgt_lens, tgt_masks = tinputs
src_dyn_embed = self.word_embed(src_words)
tgt_dyn_embed = self.word_embed(tgt_words)
src_embed = torch.cat([src_dyn_embed, src_extwords_embed], dim=-1)
tgt_embed = torch.cat([tgt_dyn_embed, tgt_extwords_embed], dim=-1)

之后使用双向LSTM分别对a和b进行encoding，得到两个句子的隐层状态表示，论文中隐层向量的维度等于预训练词向量的维度，因为是bidirectional = True，所以 $\overline{{\mathbf{a}}_i},\overline{{\mathbf{b}}_j}\in R^{2l}$。
$$\begin{array}{l}{\overline{\mathbf{a}}}_i=\mathrm{BiLSTM}(\mathbf{a},i),\forall i\in \left[1,\dots ,{\ell }_a\right]\\ {\overline{\mathbf{b}}}_j=\end{array}$$