Seq2Seq2、Attention的多种模式

#2020.8.19
苏神博客的基础seq2seq架构

玩转Keras之Seq2Seq自动生成标题 | 附开源代码

关于seq2seq的多种模式
模式一：
Encoder端、Decoder端都采用RNN。在编码的每个时刻，RNN除了上一时刻产生的隐层状态编码时，还有当前时刻的输入字符；而在解码阶段没有这种输入。最简单的一种方式是：把编码端得到的隐层向量作为解码端的每一时刻的输入向量。

模式二：带回馈的解码模式：
在解码阶段，每一时刻依赖于上一时刻的输出与隐层向量

模式三：
带编码向量的解码模式

模式四：带注意力机制的解码模式：

下图是模式四模型实现的详细图解：
注：
两个黄色的输入使用的是相同的embedding data。

参考：大神博客