seq2seq发展介绍

seq2seq发展介绍

因为seq2seq相关介绍博客很多，之前只是通过博客学习，一直没有读过相关论文。虽然通过博客对seq2seq大体框架有所了解，但是对于实现细节和发展并不是很清楚。近日在学习copynet时看到使用了seq2seq作为模型的主体框架，便借此机会对细节发展进行详细了解。

传统的rnn对于输入一个字符预测一个字符这种情况有着不错的使用效果，但对于翻译任务而言，源句子和目标句子常常并不有着相同长度。在这种情况下，传统的rnn将难以胜任，为了解决这个问题，在Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation论文中提出encoder-decoder这种两个rnn模块结合的结构，encoder模块负责将输入序列映射到一个固定长度的概要向量c，decoder模块引入向量c并结合前一时间步的预测结果来进行目标序列的预测。后来因为源句子与目标句子的对齐问题，引入了注意力机制，将由encoder的编码向量直接得到的概要向量c变为根据decoder输入对encoder编码向量进行加权融合得到。之后因为rnn不利于并行计算，开始使用attention进行特征的提取得到输入序列的向量特征。

下面便具体介绍下seq2seq的变迁。

荷角初露

传统的rnn网络中，一直存在着这样一个问题，文本生成的输出结果必须要和输入一一对应（输入一个字符，预测一个字符）。这样在生成对联或者诗词这样长度一致的文本时还没什么问题，但当遇到文本摘要/文本翻译/语音识别这种输入序列和输出序列长度不一定相同的情况，就无能为力了。

到了2014年，在Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation中，创造性的提出encoder-decoder结构，由两个模块共同协作完成序列转换任务，一个模块负责编码输入序列的特征，因此将这个模块称为encoder（编码器）。另一个模块负责根据概要向量c进行解码预测目标序列，所以这个模块叫做decoder（解码器）。概要向量c是一个固定维度的包含输入序列上下文信息的向量，此时还没有引入attention（注意力），直接使用输入序列最后一个字符的encoder的隐层状态的非线性变换作为概要向量。

除了提出了encoder-decoder结构，在这篇文章也首次提出了GRU神经网络（模仿LSTM但减少了参数量和计算量）。

下面是encoder模块的具体计算方式：
$$\begin{array}{rl}{h}^t& =z^t\odot h^{t-1}+(1-z^t)\odot {\tilde{h}}^t\\ z^t& =\sigma (W_{z}e(x^t)+U_z{h}^{t-1})\\ {\tilde{h}}^t& =tanh(We(x^t)+U(r^t\odot h^{t-1})\\ r^t& =\sigma (W_{r}e(x^t)+U_r{h}^{t-1})\\ c& =tanh(V{h}^n)\end{array}$$
在上面公式中的$h^t$表示t时间步的隐层状态向量，$h^n$表示输入序列最后一个字符的隐层状态，e表示字符嵌入向量(embedding)，$x^t$表示序列的第t个字符，$z^t和r^t$分别表示第t时间步的更新门(update gate)和重置门(reset gate)，$\sigma$表示激活函数，此处使用sigmoid，$\odot$表示按位元素相乘。

decoder模块整体结构和encoder模块相似，但是在进行隐层状态计算时，除了使用前一时间步的隐层状态向量$h^{t-1}$和预测结果嵌入向量$e(y^{t-1})$，还会使用encoder得到的概要向量c。具体计算公式如下所示：
$$\begin{array}{rl}{h}^{\prime 0}& =tanh(V^{\prime }c)\\ h^{\prime t}& =z^{\prime t}\odot h^{\prime t-1}+(1-z^{\prime t})\odot {\widetilde{h^{\prime }}}^t\\ z^{\prime t}& =\sigma (W_z^{\prime }e(y^{t-1})+U_z^{\prime }{h}^{\prime t-1}+C_{z}c)\\ {\widetilde{h^{\prime }}}^t& =tanh(W^{\prime }e(y^{t-1})+r^{\prime t}(U^{\prime }\odot h^{\prime t-1}+Cc))\\ r^{\prime t}& =\sigma (W_r^{\prime }e(y^{t-1})+U_r^{\prime }{h}^{t-1}+C_{r}c)\end{array}$$
在上面公式中${.}^{\prime }$用于区分encoder和decoder的参数。$e(y^0)$是全零向量，$e(y^t)$和encoder类似，表示使用预测词汇$y^t$的onehot向量和embedding相乘得到的预测词汇嵌入向量，decoder的embedding和encoder中的embedding使用同一个embedding。

encoder-decoder在训练和预测时，使用<EOS>(end-of-sequence)作为输入序列的终止符,当输入序列出现标识符<EOS>（end-of-sequence）时终止encoder模块，开始执行decoder模块。

黎明前夜

上一节介绍的encoder-decoder已经解决了源序列和目标序列不等长的问题，但是在目标序列的生成效果方面仍然不尽如人意。

之后的论文Sequence to Sequence Learning with Neural Networks发现通过上面方法生成概要向量c在进行decoder解码预测阶段时会产生较大的时滞，例如目标序列生成的第一个词对应源序列的第一个词，但是使用的encoder的概要向量c距离源序列的第一个字符的编码向量会经过源序列长度的时间步n。在论文中提出使用倒序输入，正序预测的方式(例如源序列为A,B,C，目标生成序列为A’,B’,C’,则输入为C,B,A,最终得到CBA->A'B'C')来缩短目标序列生成最初几个token时概要向量c的时间步距离，确保目标序列最开始生成的正确性。

同时这篇论文发现使用深层网络进行encoder学习；encoder和decoder使用不同的模型权重和embedding会获得模型效果提升。另外可以在decoder阶段通过<EOS>标识符来结束deocder的解码过程，具体为预测到的字符为<EOS>时停止decoder模块。

横空出世

前面文章已经意识到源序列和目标序列存在时滞问题，同时提出使用倒序输入的方式来解决，但是倒序实际上只能解决目标序列最开始几个字符的时滞问题，对于后面字符的时滞问题依然无能为力。

所以在Neural Machine Translation by Jointly Learning to Align and Translate中认为问题关键在于每次decoder进行预测时都使用同一个概要向量c，在面对长序列时难以将完整的句子信息压缩到概要向量c中。针对这个问题，此文提出使用模型自动搜索的方式（attention）得到与待预测的目标词汇相关的源序列内容的概要向量$c_i$，而不必强行关注整个输入序列的内容得到概要向量c。

下面我们就具体介绍下如何使用attention来实现动态概要向量$c_i$的生成。
$$\begin{gathered} c_i=\sum _{j=1}^T{\alpha }_{i,j}{h}_j \\ {\alpha }_{i,j}=\frac{exp(e_{i,j})}{{\sum }_{j=1}^{T}exp(e_{i,j})} \\ {e}_{i,j}=v_{\alpha }^{\top }tanh(W_{\alpha }{s}_{i-1}+U_{\alpha }{h}_j) \end{gathered}$$

$h_j$表示输入序列第j个字符对应的encoder的隐层向量表示，$e_{i,j}$是目标序列中第i个字符对源序列中第j个字符的注意力，${\alpha }_{i,j}$是注意力计算后得到的注意力权重,$c_i$为将输入序列$h=[h_1,...,h_T]$根据注意力加权求和得到的概要向量。$v_{\alpha },W_{\alpha },U_{\alpha }$是随机初始化生成得到的形如$W_{\alpha }\in {\mathbb{R}}^{n\times n},U_{\alpha }\in {\mathbb{R}}^{n\times 2n},v_{\alpha }\in {\mathbb{R}}^n$的数字矩阵。

上面n为模型隐层向量维度，$U_{\alpha }\in {\mathbb{R}}^{n\times 2n}$是因为$h_j$使用双向编码，向量维度乘2。

除了使用注意力的方式得到概要向量$c_i$，本文使用双向循环神经网络(BiRNN)的方式来对源序列进行编码。这样每个向量$h_j$除了可以获取到源序列第j个字符以前的信息，也可以获取到源序列第j个字符以后的信息。

双向循环神经网络包含正向循环神经网络和负向循环神经网络。正向循环神经网络将源序列按照$x_1->x_T$顺序输入循环神经网络，得到正向隐层状态$({\overrightarrow{h}}_1,...,{\overrightarrow{h}}_t)$。负向循环神经网络将源序列按照$x_T->x_1$顺序输入循环神经网络得到负向隐层状态$({\overleftarrow{h}}_1,...,{\overleftarrow{h}}_T)$.我们将正向隐层状态${\overrightarrow{h}}_j$和负向隐层状态${\overleftarrow{h}}_j$拼接到一起得到源序列字符$x_j$的表达向量$h_j=[{\overleftarrow{h}}_j^{\top };{\overrightarrow{h}}_j^{\top }{]}^{\top }$。

通过使用attention机制，有效的解决了seq2seq结构中概要向量c和目标序列$x_i$不匹配的问题，使得seq2seq在长序列转换时也可取得不错的效果。后续谷歌也逐渐将翻译模型从传统统计模型转换成神经网络模型。seq2seq+attention的方式也开始在各个领域开始广泛使用。

下面我们详细介绍下模型细节：

输入和输出：
x = { x 1 , . . . , x T x }    x i ∈ R K x y = { y 1 , . . . , y T y }    y i ∈ R K y \textbf{x}=\{x_1,...,x_{T_x}\} \ \ x_i \in \mathbb{R}^{K_x}\\ \textbf{y}=\{y_1,...,y_{T_y}\} \ \ y_i \in \mathbb{R}^{K_y} x={x1​,...,xTx​​}  xi​∈RKx​y={y1​,...,yTy​​}  yi​∈RKy​
$\text{x},\text{y}$分别是输入句子的onehot编码组成的序列，输出句子的onehot编码组成的序列。$K_x,K_y$分别为源句子语言和目标句子语言的字典尺寸大小。$T_x,T_y$分别时表示源句子和目标句子的长度。

编码器：

编码器使用双向的循环神经网络进行特征提取。

下面是其中正向状态的计算方式，${\overrightarrow{h}}_0$初始状态为0，后续${\overrightarrow{h}}_i$由${\overrightarrow{h}}_{i-1}$和$\underline{{\overrightarrow{h}}_i}$加权得到。
$${\overrightarrow{h}}_i=\{\begin{array}{rcl}(1-{\overrightarrow{z}}_i)\odot {\overrightarrow{h}}_{i-1}+{\overrightarrow{z}}_i\odot \underline{{\overrightarrow{h}}_i}& & i>0\\ 0& & i=0\end{array}$$

$$\begin{gathered} \underline{{\overrightarrow{h}}_i}=tanh(\overrightarrow{W}{E}_x{x}_i+\overrightarrow{U}[{\overrightarrow{r}}_i\odot {\overrightarrow{h}}_{i-1}]) \\ {\overrightarrow{r}}_i=\sigma ({\overrightarrow{W}}_r{E}_x{x}_i+{\overrightarrow{U}}_r{\overrightarrow{h}}_{i-1}) \\ {\overrightarrow{z}}_i=\sigma ({\overrightarrow{W}}_z{E}_x{x}_i+{\overrightarrow{U}}_r{\overrightarrow{h}}_{i-1}) \end{gathered}$$

$E_x\in {\mathbb{R}}^{m\times K_x}$ 是词嵌入矩阵，$\overrightarrow{W},{\overrightarrow{W}}_z,{\overrightarrow{W}}_r\in {\mathbb{R}}^{n\times n},\overrightarrow{U},{\overrightarrow{U}}_z,{\overrightarrow{U}}_r$是权重矩阵。$\odot$为按位元素相乘，$\sigma$为激活函数sigmoid。m和n分别表示词嵌入矩阵的维度和隐层状态的维度。

反向状态的计算方式和正向状态计算方式类似，在正向和反向计算中共享词嵌入矩阵$E_x$，但是计算时用到的权重矩阵不做共享。

最终合并正向和反向状态得到最终的信息表达$(h_1,...,h_{T_x})$,

$h_i=[{\overrightarrow{h}}_i;{\overleftarrow{h}}_i]$.

解码器：

解码器使用单向循环神经网络，其网络的隐层状态$s_i$计算方式如下：
$$\begin{gathered} s_i=(1-z_i)\odot s_{i-1}+z_i\odot \underline{s_i} \\ \underline{s_i}=tanh(W{E}_y{y}_{i-1}+U[r_i\odot s_{i-1}]+C{c}_i) \\ {r}_i=\sigma (W_r{E}_y{y}_{i-1}+U_r[r_i\odot s_{i-1}]+C_r{c}_i) \\ {z}_i=\sigma (W_z{E}_y{y}_{i-1}+U_z[r_i\odot s_{i-1}]+C_z{c}_i) \end{gathered}$$
上式中$E_y$是目标语言词嵌入矩阵，如果目标语言和源语言一样，则$E_x=E_y$.$W,W_r,W_z\in {\mathbb{R}}^{n\times m},U,U_r,U_z\in {\mathbb{R}}^{n\times n},C,C_r,C_z\in {\mathbb{R}}^{n\times 2n}$均表示权重矩阵。m和n分别表示词嵌入矩阵的维度和隐层状态的维度。初始化的隐层状态$s_0=tanh(W_s{\overleftarrow{h}}_1),W_s\in {\mathbb{R}}^{n\times n}$

概要向量$c_i$每个时间步的计算方式为：
$$\begin{gathered} c_i=\sum _j^{T_x}{\alpha }_{i,j}{h}_j \\ {\alpha }_{i,j}=\frac{exp(e_{i,j})}{{\sum }_k^{T_x}exp(e_{i,k})} \\ {e}_{i,j}=v_{\alpha }^{\top }tanh(W_{\alpha }{s}_{i-1}+U_{\alpha }{h}_j) \end{gathered}$$
$h_j$为输入句子第j个字符的向量表达，$v_{\alpha }\in {\mathbb{R}}^{n\times n^{\prime }},W_{\alpha }\in {\mathbb{R}}^{n^{\prime }\times n},U_{\alpha }\in {\mathbb{R}}^{n^{\prime }\times 2n}$

**注意：**当固定$c_i={\overrightarrow{h}}_{T_x}$时，整个模型便退化成Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation中提出的encoder-decoder模型。

通过解码器的隐层向量$s_{i-1}$，概要向量$c_i$和上一步生成的字符$y_{i-1}$，我们可以定义目标字符$y_i$的概率。

$p(y_i|s_i,y_i-1,c_i)\propto exp(y_i^{\top }{W}_o{t}_i)$

其中$t_i$为使用单层maxout的隐层，

t i = [ m a x { t ~ i , 2 j − 1 , t ~ i , 2 j } ] j = 1 , . . . , l ⊤ t_i=[max\{\widetilde t_{i,2j -1},\widetilde t_{i,2j}\}]^\top_{j=1,...,l} ti​=[max{t i,2j−1​,t i,2j​}]j=1,...,l⊤​

${\tilde{t}}_{i,k}$是向量${\tilde{t}}_i$的第k维元素，向量${\tilde{t}}_i$的可以通过如下方式计算，

${\tilde{t}}_i=U_o{s}_{i-1}+V_o{E}_y{y}_{i-1}+C_o{c}_i$

当训练时使用$y_i=softmax(W_o{t}_i)$作为预测值进行训练，输入的字符则使用$y_i=argmax(y_i)$的onehot编码输入到下一个字符的预测当中。

参考

Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation

Sequence to Sequence Learning with Neural Networks

Generating Sequences With Recurrent Neural Networks

NEURAL MACHINE TRANSLATION BY JOINTLY LEARNING TO ALIGN AND TRANSLATE

Attention Is All You Need