解决序列长期依赖的法宝——注意力机制

注意力的种类有如下四种：

• 加法注意力, Bahdanau Attention
• 点乘注意力, Luong Attention
• 自注意力, Self-Attention
• 多头点乘注意力, Multi-Head Dot Product Attention（请转至Transformer模型）

1. Bahdanau Attention

Neural Machine Translation by Jointly Learning to Align and Translate, Bahdanau et al, ICLR 2015

总览

2015年发布的论文，首次提出注意力机制，也就是加法注意力，并将其应用在机器翻译领域。

当前工作的不足

目前NMT主流的方法是seq2seq方法，具体采用的是encoder-decoder模型。但是在编解码模型中编码得到的是固定长度的context vector，这是当前seq2seq的瓶颈。

本文提出联合学习对齐和翻译的方法：

• 对齐：在预测每一个target word的时候都去search源句子中一个部分
• 翻译：根据对齐的部分动态生成c，然后基于c和上一个target word生成当前的target word

模型

下图展示了在预测target word $o_t$时从源句子隐藏状态动态生成上下文向量的过程。

首先根据对齐模型$a$，给每个源隐藏状态$h_j$生成一个权重系数$e_{tj}$：

$$e_{tj}=a(s_{t-1},h_j)$$

然后将所有权重系数进行softmax归一化得到各个源隐藏状态的注意力权重：

$$a_{tj}=\frac{exp(e_{tj})}{{\sum }_{k=1}^{T_x}exp(e_{tk})}$$

计算注意力权重和各个源隐藏状态的加权和，得到预测$o_t$的注意力向量：

$$c_t=\sum _{j=1}^{T_x}{a}_{tj}{h}_j$$

然后根据注意力向量进行预测：

s t = f ( s t − 1