论文笔记：Reasoning about Entailment with Neural Attention

写在前面

Attention mechanism 作为一种模型效果提升的方法，再很多领域都有应用，这篇论文也算是学习 Attention mechanism的经典论文之一，文中提出了一种 Attention based 的神经网络模型，用于文本蕴含推理，并取得state-of-art 的结果（当时）。

文中最主要的模型是建立 word-by-word Attention 模型，与之做对比的还有几个模型，像基础的 LSTM 模型以及更深一步的双向Attention 等等，具体来说，就是这四个模型（当然提到了不止这四种，也可以理解更多个，像LSTM那部分就可以拆开来看，不过大部分是背景板。。问题不大）：

• 第一个模型实际上就是之前常见的文本蕴含推理的方式，首先使用一个 LSTM 处理 premise，然后将 最后的状态作为第二个 LSTM 的输入，然后处理 hypothesis ，最后输出的向量作为分类的依据这在文中 2.1，2。2节介绍。
• 第二个模型是加入Attention 的模型，这里的 Attention 建立在整个文本层面，在2.3节中介绍。
• 第三个是文中主要的模型，也是最后证明效果最好的模型，我理解是逐字注意力机制模型，在2.4节中介绍。
• 最后是第三个模型的改版，只是改成了双向的 Attention，但是实验中证明这样做反而结果下降了，在2.5节中介绍。

个人觉得这篇论文最好的一部分是实验环节，从实验部分可以看到很多设计对比试验的很多tricks，像应该从什么角度挑选有说服力的例子等等。

以下为个人理解和总结，欢迎指正~

1. Abstract & Introduction

按照惯例，这一部分对全文的工作做了一个基本的概括。论文中提到，自动的文本蕴含识别一直以来都是依靠手工特征工程，端到端的神经网络模型在这一问题上都失败了，论文提出了一种基于LSTM的神经网络模型，同时处理两个句子来判断它们之间的蕴含关系，并且使用了 Attention machanism 来改进模型。

在 Introduction 部分，对文本蕴含识别（Recognizing textual entailment， RTE）任务作了介绍，对于两个文本，这种蕴含关系判断实际上就是判断三种关系：