解读Seq2Seq的原理及attention机制

一、Seq2Seq基本架构图

Seq2Seq是一个Encoder–Decoder 结构的网络，它的输入是一个序列，输出也是一个序列。 编码器Encoder 中将一个可变长度的信号序列变为固定长度的向量表达，解码器Decoder 将这个固定长度的向量变成可变长度的目标的信号序列。

二、Seq2Seq with attention计算公式

（一）注意力机制的Seq2Seq架构图

（二）注意力机制的Seq2Seq计算公式

备注：W_c表明attention mechanism是可以训练的。

三、基于Seq2Seq with attention的机器翻译

待续

参考链接：
https://blog.csdn.net/u010960155/article/details/82853632
https://mp.weixin.qq.com/s/hYZNN-0SLhAnA1tI7rhwTw
https://zhuanlan.zhihu.com/p/40920384