[EMNLP2015]Effective Approaches to Attention-based Neural Machine Translation

小妖精Fsky

于 2017-08-16 14:34:25 发布

阅读量3k

点赞数

分类专栏： PaperNotes 文章标签： Paper

本文链接：https://blog.csdn.net/appleml/article/details/77247460

版权

PaperNotes 专栏收录该内容

77 篇文章

订阅专栏

本文探讨了神经机器翻译的优点，如长序列生成能力及低内存需求，并介绍两种Attention模型：全局注意力(global attention)和局部注意力(local attention)，还讨论了input-feeding方法，通过实例解释了如何将上下文向量融入解码过程。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

neural machine translation有以下优点：
(1) 有能力生成很长的词序列
(2) 因为不需要存储巨大的短语词表，所以需要很小的内存
(3) 解码很容易
A：介绍了两种attention模型，其共同点是在每一步decoding时hidden state h $_t$ 都作为输入参与计算c $_t$
(1)global attention
在生成target word y $_t$ 时， input 中的所有词都参与其中
这里写图片描述
上图给出了两条计算路线，上面一条是以往的计算路线，下面的是本文给出的计算路线
(2) local attention
input 中的部分词参与生成 y $_t$
重点是计算p $_t$ , 文章写的很详细，这里不赘述

B：input-feeding Approach
图1和图4中蓝色方框是encoder, 红色部分是decoder, 现在关注的是decoder的输入有变化，在图1中，decoder的当前时刻的input 是前一时刻的输出，而在图4中decoder的当前时刻input除了前一时刻的输出还有前一时刻的隐状态 $\tilde{h} _t$

这里写图片描述