最近在阅读论文《Attention is all you need》的时候了解到了这个Seq2Seq模型，其最基本的原理及其思想就是RNN（循环神经网络的）的一个最重要的变种：N vs M，这种结构也叫Encoder-Decoder模型。原始的N vs N RNN要求序列等长，然而我们遇到的大部分问题序列都是不等长的，如机器翻译中，源语言和目标语言的句子往往并没有相同的长度。
举一个很简单的翻译例子：
现在我要翻译一句话，我输入为“我很久都没有看到过你了”，一共为N=11个字，翻译为英文是：“I have not seen you for a long time”，一共M=9个单词，N 和 M不等。
为此，Encoder-Decoder结构先将输入数据编码成一个上下文向量c：
得到c有多种方式，最简单的方法就是把Encoder的最后一个隐状态赋值给c，还可以对最后
最低0.47元/天 解锁文章
779
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
