一.seq2seq机制
传统的seq2seq机制在语言翻译当中使用了两个RNN,一个是encoder,将语言进行编码,另一个是decoder,将我们的得到的语言编码进行解码,解码的过程当中就可以对我们的语言进行翻译成另外一种语言。其机制如下所示:
当然这种机制了,就会出现一定的问题,比如说我们的一个hidden layer就需要捕捉到整句话的所有信息,但是实际上我们有些位于前面的一些信息可能就会有所遗漏,同样的,一些本来应该是比较重要的信息,可能模型觉得并没有那么重要。
例如输入的英文句子是:Tom chase Jerry
,目标的翻译结果是:汤姆追逐杰瑞
。在未考虑注意力机制的模型当中,模型认为 汤姆
这个词的翻译受到 Tom
,chase
和 Jerry
这三个词的同权重的影响。但是实际上显然不应该是这样处理的,汤姆
这个词应该受到输入的 Tom
这个词的影响最大,而其它输入的词的影响则应该是非常小的。显然,在未考虑注意力机制的 Encoder-Decoder 模型中,这种不同输入的重要程度并没有体现处理,