Effective Approaches to Attention-based Neural Machine Translation_2015_Luong 【NMT】【Attention】

---

论文链接：Effective Approaches to Attention-based Neural Machine Translation
By Luong et al. 2015

---

任务对齐（alignments between different modalities）：对齐是指比如在翻译任务中，翻译每个词的时候，要找多需要重点关注的原句中的词，也就是将原文中的词和目标文中的词对应起来。
对齐权值（alignment weights）：在翻译每个词的时候，需要关注那些encoder状态，关注的强度是多少，有一种打分机制，以前一刻的decoder状态和其中一个encoder状态为参数，输出得分$score(h_t,{\hat{h}}_s)$，然后用softmax归一化分值转换为概率，这个概率就是对齐权值。
Soft Attention: 软对齐，就是说encoder中每个词的隐藏层输出${\hat{h}}_s$都参与了权重的计算，这种方法方便反向传播。
Hard Attention: 就是会依赖encoder隐藏层的概率 $S_i$ 选择部分进行计算，而不是整个encoder隐藏层。但是这种不放不可微想要实现梯度的反向传播，需要采用蒙特卡洛采样的方法估计模块的梯度。

---

提出背景

最新论文提出开始把注意力机制应用于neural machine translation (NMT)，将注意力有选择地放在部分source sentence上，本文继续探索更好的将注意力机制应用在NMT。

提出两个模型，一个是Global Attention，将注意力放在全部的source sentence上，另一个是Local Attention，每一个时刻下将注意力放在部分source sentence上。Local Attention是融合了soft attention和hard attention，计算成本更小，而且可微（hard attention不可微），更容易实现和训练。

在对英语和德语互译上的实验中，local attention的BLEU值达到25.9，提高了1.0个点，global attention的BLEU值提升了5.0个点，优于当前使用dropout等技术的效果。

神经机器翻译NMT

nmt是一个神经网络，计算将原句$x_1,x_2,...x_n$翻译成目标句$y_1,y_2,...y_m$的条件概率：$p(y|x)$。
nmt的基本形式包括（1）encoder：计算source sentence的表示形式。（2）decoder:一次生成一个目标word，常用RNN结构实现。
已有的结构：

• CNN-RNN
• LSTM-LSTM
• GRU-GRU

模型

提出global和local两种模型，模型采用的是基于attention的stakcking LSTM architacture。

模型的共同点是decoding阶段每一次step t都将LSTM堆顶层作为$h_t$的输入。目标是获得上下文向量$c_t$，这个向量捕获原句中的信息来帮助预测当前的目标单词$y_t$。

模型的不同点在于上下文向量$c_t$是如何获取的。

给定目标隐藏层状态$h_t$和上下文向量$c_t$，使用一个连接层将这两个向量的信息结合，生成一个注意力层attentional hidden state:
$${\hat{h}}_t=\tanh (W_c[c_t;h_t])$$

然后注意力向量作为softmax层的输入生成 y 的预测分布：
$$p(y_t|y_{}$$