BI-DAF《BI-DIRECTIONAL ATTENTION FLOW FOR MACHINE COMPREHENSION》笔记

编码层

Character Embedding Layer

Char-CNN，防止OOV词

Word Embedding Layer

Glove

Contextual Embedding Layer

解决一词多义的问题。用LSTM进行编码。

比如apple这个单词，可以做苹果，也可以作为手机。

Highway Network

调整单词嵌入和字符嵌入的贡献比，用来做平衡。

前馈神经网络：

将权重矩阵W与y相乘。

在W*y中添加偏差b。

对W*y应用非线性函数g，如Relu或Tanh。

高速神经网络：

只有一小部分的输入将受到上述步骤的影响，剩下的一小部分允许通过未转换的网络。这些部分输入的大小由转换率t和携带率1-t来控制，通过sigmoid函数计算t值，在0-1之间。通俗说，t=0，y不经过非线性函数g。

交互层

• 计算相似度矩阵
• Context-to-query 注意力计算，计算query中每个word与context中word的相似度
• Query-to-context 的注意力计算，取出每一行最大值
• 用context中的word进行计算

输出层

开始位置概率：

结束位置概率：

交叉熵损失函数：

论文与参考资料

http://papers.nips.cc/paper/5945-teaching-machines-to-read-and-comprehend.pdf

https://arxiv.org/abs/1611.01603