【论文笔记】Effective Approaches to Attention-based Neural Machine Translation

论文链接

   本文针对NMT任务使用的attention机制提出两种结构,global attention将attention作用于全部输入序列,local attention每个时间步将attention作用于输入序列的不同子集。前者被称为soft attention,其原理和论文1一样,后者是hard attention和soft attention的结合,该文通过context vector ct和隐向量ht来预测当前输出:

     

两种attention机制不同的是context vector的计算:

Global Attention


在global attention中,将输入序列的各个时间步都考虑进去,每个时间步的attention值由下式计算而得:


文章尝试了多种匹配度计算函数,实验表明第二种函数效果较好:


Local Attention


为了进一步减少计算代价,在解码过程的每一个时间步仅关注输入序列的一个子集,于是在计算每个位置的attention时会固定一个上下文窗口,而不是在全局范围计算attention。根据一个预测函数,先预测当前解码时要对齐的源语言端的位置Pt,然后通过上下文窗口,仅考虑窗口内的词,Pt可以直接等于当前解码的位置或是使用感知机进行预测,S是当前序列的长度,v和W为感知机的参数。


论文1中当前的context vector会参与生成当前的RNN隐向量,由此将每一步的context信息传递下去,这篇文章直接将融合了context信息和上一步隐状态信息的ht hat作为下一时间步的输入以达到这个目的:



阅读更多
想对作者说点什么?

博主推荐

换一批

没有更多推荐了,返回首页