深度学习笔记之Seq2Seq(一)基本介绍

引言

从本节开始，将介绍$\text{Seq2seq}$。

回顾：经典循环神经网络结构

在循环神经网络——循环神经网络思想中，我们介绍了经典循环神经网络结构。它的主要思想是：以序列信息作为媒介，给定序列数据$x^{(1)},x^{(2)},\cdots ,x^{(\mathcal{T}-1)}$,求解下一时刻信息$x^{(\mathcal{T})}$的后验概率结果。

• 整个序列的联合概率分布$\mathcal{P}(\mathcal{X})$可表示为：
  $$\mathcal{P}(x^{(1)},x^{(2)},\cdots ,x^{(\mathcal{T})})=\mathcal{P}(x^{(1)})\cdot \prod _{t=2}^{\mathcal{T}}\mathcal{P}(x^{(t)}\mid x^{(1)},\cdots ,x^{(t-1)})$$
• 其中分解后的每一项(除去第一项)，借助隐变量单元$h$
  $$\{\begin{array}{l}\mathcal{P}(h^{(t)}\mid x^{(t-1)},h^{(t-1)})\\ \mathcal{P}(x^{(t)}\mid x^{(t-1)},h^{(t)})\end{array}t=2,3,\cdots ,\mathcal{T}$$

对应地，它的前馈计算过程表示如下：
$$\{\begin{array}{l}\begin{array}{rl}& {\tilde{h}}^{(t+1)}={\mathcal{W}}_{h^{(t)}\Rightarrow h^{(t+1)}}\cdot h^{(t)}+{\mathcal{W}}_{x^{(t)}\Rightarrow h^{(t+1)}}\cdot x^{(t)}+b_h\\ & h^{(t+1)}=\sigma ({\tilde{h}}^{(t+1)})\\ & {\mathcal{O}}^{(t+1)}=\varphi ({\mathcal{W}}_{h^{(t+1)}\Rightarrow {\mathcal{O}}^{(t+1)}}\cdot h^{(t+1)}+b_{\mathcal{O}})\end{array}\end{array}$$
这仅仅是$t\Rightarrow t+1$时刻的前馈计算过程，已知一段序列信息$\mathcal{X}\in {\mathbb{R}}^{n_x\times m\times \mathcal{T}}$：
这里使用的是$\text{pytorch}$的向量格式。其中$n_x$表示序列单元$x_t(t=1,2,\cdots ,\mathcal{T})$的特征维数;$m$表示$\text{BatchSize}$大小;$\mathcal{T}$表示序列单元的数量/序列长度。
$$\mathcal{X}=[x^{(1)},x^{(2)},\cdots ,x^{(\mathcal{T})}{]}^T$$
对应循环神经网络的输出$\mathcal{O}$表示为：
这里的$n_{\mathcal{O}}$表示经过神经元输出的特征维数。
$$\mathcal{O}=[{\mathcal{O}}^{(1)},{\mathcal{O}}^{(2)},\cdots {\mathcal{O}}^{(\mathcal{T})}{]}^T\in {\mathbb{R}}^{n_{\mathcal{O}}\times m\times \mathcal{T}}$$
关于$\text{LSTM,GRU}$网络结构同理，可以发现：输入与输出在序列维度上存在相同长度。

关于循环神经网络的更多引用

• $\text{One to one}$模型结构。其网络结构表示如下：
  
  这里所说的$\text{One to one}$是指序列信息并没有发生循环，相当于直接对输入数据进行分析并预测。可将视作一个全连接神经网络，相关任务如：图像分类。

• $\text{One to many}$模型结构。其网络结构表示如下：
  
  在隐藏状态发生循环的条件下，仅使用一个输入去预测一组序列输出。这类模型结构主要包含两种形式：

  • 唯一一个输入信息仅在初始时刻输入一次。代表任务如：文本生成；
  • 唯一一个输入信息在每一时刻均输入一次。代表任务如：图像描述——将图像输入，并得到关于该图像的文字描述(文字序列)。

• $\text{Many to one}$模型结构。其网络结构表示如下：
  
  这种网络结构的特点在于：一个序列的输入得到最后时刻的输出，这使得该输出包含完整序列的特征信息。通过根据该信息执行判别任务。如：文本分类、情感分析等。

• $\text{Many to many}$模型结构。其网络结构表示如下：
  
  该网络结构的特点在于：基于一个序列的输入，生成另一个关联序列的输出。相关任务如：问答系统、机器翻译等。
  其中输入序列和输出序列之间的关系不能狭隘地仅理解为语义相同，它也有可能存在‘语义之间存在因果关系’。像问答系统。

$\text{Seq2seq}$网络结构

从网络结构的角度观察，$\text{Seq2seq}$模型是由两个$\text{RNN}$网络组成的网络结构。该模型广泛应用于自然语言处理的一些领域。如：机器翻译、文字识别等等。$\text{Seq2seq}$的任务可理解为：从一个序列数据映射到另一个序列数据。相比于循环神经网络，$\text{Seq2seq}$的思想可表示为：

已知序列数据$\mathcal{X}=(x^{(1)},x^{(2)},\cdots ,x^{(\mathcal{T})})$为条件，关于序列数据$\mathcal{Y}=(y^{(1)},y^{(2)},\cdots ,y^{({\mathcal{T}}^{\prime })}$