LSTM-Attention模型：Effective Approaches to Attention-based Neural Machine Translation

参考链接

• 论文链接：https://arxiv.org/pdf/1508.04025v5.pdf
• 项目链接： https://github.com/pytorch/fairseq

模型(model)：

【1】Neural Machine Translation(NMT):

• 神经机器翻译(NMT)是直接用神经网络去模拟条件概率：$p(x|y)$
• NMT一般由两个部分组成：$encoder＋decoder$，$encoder$部分读入源句子输出该句子的表示 (representation $S$),$decoder$部分接受$encoder$部分的输出+$decoder$已经输出的目标词作为输入并输出一个目标词。因此条件概率可以分解为：$$logp(y|x)=\sum _{x=1}^{m}logp(y_j|y_{<j},s)$$
• 用$decoder$去模拟该条件概率，因此可以进一步写作：$$logp(y|x)=softmax(g(h_j))$$$g$函数的输出向量的维数=词汇表的大小；$h_j$是RNN隐藏状态向量，其公式如下：$$h_j=f(h_{j-1},s)$$$f$是RNN的单元可以是：标准的RNN单元、GRU单元和LSTM单元。
• 模型图：
  
• 这篇论文使用的模型是多层的LSTM+Attention机制；损失函数(目标函数)：$$J_t=\sum _{(x,y)\in D}-logp(y|x)$$$D$是语料库

【2】Attention-based Models

• 论文中讲了两种模型：$global$ 和 $local$；两个模型图如下：

  

• Global Attention：

  • 模型图正如上图所示现在解释一下里面的变量：
    • $c_t$:上下文向量；生成它是需要考虑$encoder$的所有隐藏层状态向量$\overline{h_t}$
    • $a$