[EMNLP2015]Effective Approaches to Attention-based Neural Machine Translation

版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/u014221266/article/details/77247460

neural machine translation有以下优点:
(1) 有能力生成很长的词序列
(2) 因为不需要存储巨大的短语词表,所以需要很小的内存
(3) 解码很容易
A: 介绍了两种attention模型,其共同点是在每一步decoding时hidden state ht都作为输入参与计算ct
(1)global attention
在生成target word yt时, input 中的所有词都参与其中
这里写图片描述
上图给出了两条计算路线, 上面一条是以往的计算路线,下面的是本文给出的计算路线
(2) local attention
input 中的部分词参与生成 yt
重点是计算pt, 文章写的很详细,这里不赘述

B:input-feeding Approach
图1和图4中蓝色方框是encoder, 红色部分是decoder, 现在关注的是decoder的输入有变化, 在图1中,decoder的当前时刻的input 是前一时刻的输出,而在图4中decoder的当前时刻input除了前一时刻的输出还有前一时刻的隐状态h̃ t

这里写图片描述

这里写图片描述

阅读更多
换一批

没有更多推荐了,返回首页