NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

《Neural Machine Translation By Jointly Learning To Align And Translate》

通过标齐和翻译的联合学习实现神经机器翻译

1.背景

传统的编码器-解码器结构的神经机器翻译中，将句子的所有信息压缩到一个固定长度的向量中，当这个句子很长时，就会导致信息的丢失，也就是一个固定长度的向量不能很好表示句子的信息。这篇论文中通过注意力机制和双向编码对传统神经机器翻译进行了改进。

2.大体框架

2.1 编码器

利用一个双向的RNN对句子进行编码，前向RNN得到，反向RNN得到，将这两个组合起来作为隐藏状态的表示

2.2 解码器

利用注意力机制求得以每个词为中心情况下句子的不同表示（），在解码时将传统解码器的C替换为对应位置的

3.主要公式

论文链接：https://arxiv.org/abs/1409.0473v1