(1)动机:机器翻译中,每个生成词可能相关于源句子中不同的词。
编码器最后隐藏层包含了前边的信息,但是进行某一步时不一定需要前边全部信息,可以用注意力关注在源句子中对应的部分。
(2)加入注意力
解码器:当前的还未预测,所以根据上一次预测的提取到跟上一步预测附近相关的。
(3)总结
(1)动机:机器翻译中,每个生成词可能相关于源句子中不同的词。
编码器最后隐藏层包含了前边的信息,但是进行某一步时不一定需要前边全部信息,可以用注意力关注在源句子中对应的部分。
(2)加入注意力
解码器:当前的还未预测,所以根据上一次预测的提取到跟上一步预测附近相关的。
(3)总结