深度之眼Paper带读笔记NLP.22：双向Attention

前言

Bi-Directional Attention Flow for Machine Comprehension
用于阅读理解的双向attention流模型
作者：Minjoon Seo et al.
单位：Allenai
发表会议及时间：ICLR2017（表示学习learning representation的顶会）
在线LaTeX公式编辑器
别人的翻译
1.阅读理解任务的简介
阅读理解，有时也叫问答任务，就是给定背景文档和问题，需要回答出答案，一般答案都是文档中连续的一段话。
2.常见的阅读理解任务
1）SQuAD形式：给定背景文档和问题，需要回答出答案，一般答案都是文档中连续的一段话。
2）人工合成问答：人工构造若干简单事实形成的文章以及对应的问题，要求机器阅读文章并作出一定的推理，从而得到正确答案。
3）完形填空：将真实的新闻数据中的实体名如人名或者地名等隐去，用实体标记符号替换掉实体词具体名称，问题中一般问哪个实体怎么怎么了，答案就是对应的实体标记。

4）选择题：给定一篇文章，一个问题和几个获选答案，需要从多个候选答案中选出正确答案，类似于四六级的阅读理解。
3. 了解Attention
了解attention的概念和相关概念，了解attention的意义，了解attention中query、key、value的含义。

第一课 论文导读

阅读理解简介

阅读理解：通过阅读文章来回答文章相关的问题。
意义：可以构建通用的问答系统。

多种阅读理解任务

人工合成问答

人工构造若干简单事实形成的文章以及对应的问题，要求机器阅读文章并作出一定的推理，从而得到正确答案。

完形填空

将真实的新闻数据中的实体名如人名或者地名等隐去，用实体标记符号替换掉实体词具体名称，问题中一般问哪个实体怎么怎么了，答案就是对应的实体标记。

选择题

给定一篇文章，一个问题和几个获选答案，需要从多个候选答案中选出正确答案，类似于四六级的阅读理解。

前期知识储备

·了解Attention的概念
·了解attention的概念和相关方法，了解attention的意义，参考论文：
Neural Machine Translation by Jointly Learning to Align and Translate（这个之前读过）
https://blog.csdn.net/oldmao_2001/article/details/100797735

第二课 论文精读

论文整体框架

摘要
1.介绍
2.模型
3.相关工作
4&5.实验
6.总结

对比模型

一种基于深度学习的阅读理解模型

注意力机制

虽然之前有写过，还是直接贴过来好了：
https://blog.csdn.net/oldmao_2001/article/details/102653672
来自之前读过的：Neural Machine Translation by Jointly Learning to Align and Translate
Encoder：单层双向LSTM。(就是下图中下面两层方框)
Decoder：
对于输出：
$$p(y_i)=g(y_{i-1},s_i,c_i)$$
对于$c_i$：
$$c_i=\sum _{j=1}^{T_x}{a}_{ij}{h}_j,a_{ij}=\frac{exp(e_{ij})}{{\sum }_{k=1}^{T_x}exp(e_{ik})}$$
$$where{e}_{ij}=a(s_{j-1},h_j)$$

Match-LSTM（一种阅读理解的模型用的是attention）

模型来自：Machine Comprehension using Match-LSTM And Answer Pointer
Q是问题query，P是文档passage，对这两个东西都用LSTM进行处理
$$H^p=\overrightarrow{LSTM}(P),H^q=\overrightarrow{LSTM}(Q)$$
然后对passage中的每一个$h_i^p$（代表词）作attention，就是下面的G，$b^p$是偏置，$e_Q$代表重复的次数
$${\overrightarrow{G}}_i=tanh(W^q{H}^q+(W^p{h}_i^p+W^r{\overrightarrow{h}}_{i-1}^r+b^p)\otimes e_Q)$$
用softmax得到每一个词对应的attention权重
$${\overrightarrow{\alpha }}_i=softmax(w^T{\overrightarrow{G}}_i+b\otimes e_Q)$$
$${\overrightarrow{z}}_i=\left[\frac{h_i^p}{H^q{\overrightarrow{\alpha }}_i^T}\right]$$
下面的${\overrightarrow{h}}_i^r$是指上一个时间步的结果
$${\overrightarrow{h}}_i^r=\overrightarrow{LSTM}({\overrightarrow{z}}_i,{\overrightarrow{h}}_{i-1}^r)$$
下面两个式子是反向的结果
$${\overleftarrow{G}}_i=tanh(W^q{H}^q+(W^p{h}_i^p+W^r{\overleftarrow{h}}_{i-1}^r+b^p)\otimes e_Q)$$
$${\overleftarrow{\alpha }}_i=softmax(w^T{\overleftarrow{G}}_i+b\otimes e_Q)$$
最后的结果为：$H=({\overrightarrow{h}}^r,{\overleftarrow{h}}^r)$
最后预测的答案用答案在文档中开始位置start_id和结束位置end_id来表示。

模型

双向Attention流模型Bi-directional Attention Flow Model

模型比较复杂，有很多个层，文中称为多stage

Embedding Model

Word Embedding 用的是GLOVE，下图黄色部分，Character Embedding 用的是Char-CNN，下图粉红色部分

下面是Character Embedding的图例，看到先对词进行pad，然后卷积核大小是3，stride为1，对输入进行卷积后得到4个结果，有4个卷积核，所有有四个颜色，然后对卷积后的结果进行max pooling，每个卷积结果得到一个值。

Contextual Embedding Layer

文档级别的Embedding 层

下面是原文，大意是说用的是LSTM，而且用的是双向LSTM，最后把两个方向的结果concat到一起，所以维度是2d×T（T为背景文档中词的个数）的。H我背景文档向量，U是query文档向量，J是U中词的个数。

Attention Flow Layer

接上一层得到的结果H和U，他们的维度分别为2d×T和2d×J，然后
1.计算相似度矩阵S，大小为$(T，J)$，$S_{tj}=w[H_{:t};U_{:j};H_{:t}\ast U_{:j}]$
上面公式中$H_{:t}$表示H中的一列，维度是2d1，$U_{:j}$表示U中的一列，维度是2d1，然后$H_{:t}\ast U_{:j}]$相乘的结果维度也是2d1的，最后把他们concat出来维度的大小就变成6d1的，w维度是16d的，最后$S_{tj}$就变成一个常量值，代表文档向量t和query向量j的相似度。下面分两个方向进行计算：
2.计算Context-to-query矩阵：对于Context中的词w，query中哪些词和w最相关：
$U_{c-q_t}={\sum }_j{a}_{tj}{U}_{:j}$，其中$a_{tj}$是S中第t行做softmax的结果,$U_{c-q_t}$的维度为2dT。
3.计算Query-to-context矩阵：对于Query，Context中哪个词和Query最相关：
$h_{q-c}={\sum }_t{b}_t{H}_{:t}$,其中b是对S每行求max-pooling之后求softmax的结果，$H_{q-c}$为重复T次的结果。
4.合并两个矩阵得到G：$G_{:t}=[H_{:t};U_{c-q:t};H_{:t}\ast U_{c-q:t};H_{:t}\ast H_{q-c:t}]$
$G_{:t}$为4个2d×1的矩阵concat的8d1的结果。G的维度就为8dT

Modeling Layer

这里的输入是上一层得到的G，维度大小如图所示。
这里用到了两层的双向LSTM处理，得到结果M，其维度是2d×T的。

Output Layer

根据前面内容知道：G和M两个东西concat到一起维度为10d×T的，w维度是10d×1
$$p^1=softmax(w_{(p^1)}^T[G;M])$$
$$p^2=softmax(w_{(p^2)}^T[G;M^2])$$
$$L(\theta )=-\frac{1}{N}\sum _i^{N}log(p_{y_i^1}^1)+log(p_{y_i^2}^2)$$

实验和结果

数据集

SQuAD：斯坦福大学的问答数据集，包含100K+的问题答案对，其中答案是背景文档中的连续的一段话，给定问题和背景文档要求找到背景文档中的连续的一段话作为的答案。
完形填空数据集：从CNN和DailyMail上选取的新闻，分别包含300k/4k/3k数据和879k/65k/53k数据。

实验结果

单模型上要比R-net差一点，但是集成模型NB。右边显示了去掉模型的某个部分后得到的实验结果。

讨论和总结

论文主要创新点：
A. 提出了一种双向attention流的模型。
B.使用了字符，词，文本多种级别的信息。
C.在多个数据集上取得了SOTA的效果。
总结：
对比模型：本文对比了Match-Lstm模型。
模型：本文提出了一种双向attention流模型。
实验：本文提出的在对多个数据集上取得了SOTA的结果。

参考文献

Shuohang Wang et al.Neural Machine Translation by Jointly Learning to Align and Translate