[EMNLP2015]Effective Approaches to Attention-based Neural Machine Translation

neural machine translation有以下优点：
(1) 有能力生成很长的词序列
(2) 因为不需要存储巨大的短语词表，所以需要很小的内存
(3) 解码很容易
A： 介绍了两种attention模型，其共同点是在每一步decoding时hidden state h$_t$都作为输入参与计算c$_t$
(1)global attention
在生成target word y$_t$时， input 中的所有词都参与其中

上图给出了两条计算路线， 上面一条是以往的计算路线，下面的是本文给出的计算路线
(2) local attention
input 中的部分词参与生成 y$_t$
重点是计算p$_t$, 文章写的很详细，这里不赘述

B：input-feeding Approach
图1和图4中蓝色方框是encoder, 红色部分是decoder, 现在关注的是decoder的输入有变化， 在图1中，decoder的当前时刻的input 是前一时刻的输出，而在图4中decoder的当前时刻input除了前一时刻的输出还有前一时刻的隐状态$\tilde{h} _t$