1 简介
本文根据2015年《Effective Approaches to Attention-based Neural Machine Translation》翻译总结。
对于翻译任务,第一次引入注意力机制的是[Bahdanau et al.2015]《Neural machine translation by jointly learning to align and translate》,本文是第二篇。
本文提出了两种注意力机制,global和local。翻译任务是将源语句翻译成目标语句,其中Global方法是源语句的所有单词参与注意力,而local只是源语句的一部分参与。Local方法可以看作是hard和soft注意力机制的混合,local方法比global方法、soft注意力计算量小,local方法比hard方法易实施、训练。
基于注意力机制的模型优于非注意力机制的模型,比如在翻译名字、长语句上。
2 Neural Machine Translation
本文使用堆叠的LSTM架构,进行NMT。训练目标函数如下:
其中D是我们并行训练语料库。
3 Attention-based Models
4 Global attention
5 Local Attention
下面考虑两种local方法:
Monotonic alignment (local-m):单调对齐,公式如下(上面的公式7):
Predictive alignment (local-p):非单调对齐,公式如下:
6 Input-feeding Approach
这样(1)使模型可以知道前面的alighment 选择;(2)可以建立一个非常深的网络,无论深度还是宽度。
7 实验结果
我们模型取得了很好的效果,尤其集成(ensemnble)后吧,如下:
可以看到local-p效果不错。