【论文笔记】Effective Approaches to Attention-based Neural Machine Translation

论文链接

   本文针对NMT任务使用的attention机制提出两种结构，global attention将attention作用于全部输入序列，local attention每个时间步将attention作用于输入序列的不同子集。前者被称为soft attention，其原理和论文1一样，后者是hard attention和soft attention的结合，该文通过context vector ct和隐向量ht来预测当前输出：

     

两种attention机制不同的是context vector的计算：

Global Attention

在global attention中，将输入序列的各个时间步都考虑进去，每个时间步的attention值由下式计算而得：

文章尝试了多种匹配度计算函数，实验表明第二种函数效果较好：

Local Attention

为了进一步减少计算代价，在解码过程的每一个时间步仅关注输入序列的一个子集，于是在计算每个位置的attention时会固定一个上下文窗口，而不是在全局范围计算attention。根据一个预测函数，先预测当前解码时要对齐的源语言端的位置Pt，然后通过上下文窗口，仅考虑窗口内的词，Pt可以直接等于当前解码的位置或是使用感知机进行预测,S是当前序列的长度,v和W为感知机的参数。

论文1中当前的context vector会参与生成当前的RNN隐向量，由此将每一步的context信息传递下去，这篇文章直接将融合了context信息和上一步隐状态信息的ht hat作为下一时间步的输入以达到这个目的：