note: NMT by jointly learning to align and translate

Bahdanau / Cho / Bengio

Introduction

最近提出的NMT模型都属于encoder-decorder这一大类，

这种encoder-decoder的架构会把所有输入的信息压缩成一个固定长度的向量，
这导致了一个潜在问题：处理长句子很吃力。

Cho也表明encoder-decoder面对长句子，性能就开始快速下降。

为了解决这个问题，我们引入一个“插件”，它能同时学习词语的align（对称）和翻译：生成翻译的时候，从输入的句子中“搜索”（或者说“软搜索”）最相关的信息。
然后根据 1.来源句子中搜索到的位置信息，以及 2.之前已经翻译出的词，来预测下一个词。

这个新的方法不仅取得了和phrase-based system相当的效果，
它还得到了alignments，定性分析表明这个和我们的直觉很相近。

而且，关键的是，它不会把整个输入信息放进一个固定长度的向量中。

它会把输入信息转换成一个向量序列，翻译的时候，根据需要，从序列中挑出一个子集。

Background: NMT

从概率的视角，翻译就是根据给定的输入X，找到目标句子Y的条件概率。