seq2seq(序列到序列)模型

 seq2seq(sequence to sequence)模型是NLP中的一个经典模型，基于RNN网络模型构建，用途非常广泛：语言翻译，人机对话，问答系统等。

Seq2Seq，就如字面意思，输入一个序列，输出另一个序列，比如在机器翻译中，输入英文，输出中文。这种结构最重要的地方在于输入序列和输出序列的长度是可变的。而Seq2Seq模型也经常在输出的长度不确定时采用。

一、Seq2Seq详解(基于RNN)

1.1 与encoder-decoder的关系

Encoder–Decoder是一种框架，许多算法中都有该种框架，在这个框架下可以使用不同的算法来解决不同的任务。

seq2seq模型属于encoder-decoder框架的范围，Seq2Seq 强调目的，不特指具体方法，满足输入序列，输出序列的目的，都可以统称为 Seq2Seq 模型。

1.2 seq2seq中数据流动

 在Encoder中，需要先将输入转换成词向量，即Embedding，用表示转换成词向量的输入，上一时刻的隐藏状态用表示，每一个时刻输出一个隐状态，用函数f表示GRU隐层层的变换，即：

假设有t个词，最终通过Encoder自定义函数q将各时刻的隐状态变为语义向量C，即：

语义向量C就相当于从输入中提取出来大概意思，包含了输入的含义。

Decoder中，每一时刻的输入为Encoder输出的c和Decoder前一时刻的输出，还有前一时刻预测的词向量（如果是预测第一个词的话，此时输入的词向量为“_GO”的词向量，标志着解码的开始）,用g函数表达解码器的隐藏层变换，即：

直到解码解出“_EOS”，标志着解码的结束。

1.3 Teacher Forching

在基础的模型中，Decoder的每一次解码又会作为下一次解码的输入，但这样会导致一个问题，如果其中一个RNN单元解码出现误差，那么这个误差就会传递到下一个RNN单元，使训练结果误差越来越大。

Teacher Forching在一定程度上解决了这个问题，它是在训练过程中，使用要解码的序列作为输入进行训练，但是在预测阶段是不能使用的，因为不知道要预测的序列是什么。

 1.4 Beam Search

在预测阶段，不能用Teacher Forcing，只能用上一时刻解码的输出作为下一时刻解码的输入，但这样会出现误差传递，为了解决这个问题，可以使用Beam Search。

Beam Search是在每个时刻解码器选择Top k个预测结果作为下一个解码器的输入，将这k个结果逐一输入到解码器进行解码，就会产生k倍个预测结果，从所有的解码结果中再选出Top k个预测结果作为下一个解码器的输入，在最后一个时刻再选出Top 1作为最终的输出，这样避免误差的传递。

 

参考资料：

Seq2Seq模型介绍 - 知乎 (zhihu.com)

Tensorflow中的Seq2Seq全家桶 - 知乎 (zhihu.com)

(46条消息) Seq2Seq模型_东石有海的博客-CSDN博客_seq2seq模型

(46条消息) Seq2Seq 模型详解_angushuang17的博客-CSDN博客_seq2seq模型

(46条消息) Seq2Seq模型_东石有海的博客-CSDN博客_seq2seq模型