【Seq2Seq】相关理论基础与RNN的相应变体

1. 发展历程

Seq2Seq在2014年顶会正式被提出，其中在同一年有两篇文章都用到了序列到序列，编码器解码器的方式实现机器翻译。其中GPU也在2014年被提出。

在2015年，针对Seq2Seq的一些问题，提出了注意力Attention机制，已经逐步开始爆发。

在2017年，谷歌发表了一篇Attention is All you need，将注意力机制推到了顶峰，其中也有学者用Self-Attention来替代cnn和Rnn

2. 基础理解

2.1 基础的神经网络

传统的单层神经网络，就是传入一个输出，对应的传出相应的输出。

相对于传统的神经网络，经典的RNN网络如下所示，就是每一个输入都是依赖于上一层次的隐藏层状态和当前的输入。

2.2 RNN网络的相应变体

2.2.1 RNN变体 N V 1

传统的NV1使用的还是比较频繁的，基本都用于对于文本的分类的任务，对于一个序列数据的多个的一个输入，最终得到一个输出的结果的一个数据。

首先有一个隐藏层的h0数据，相应的输入x1~x5，最终得到一个y。

当前层h5依赖于上一层的h5和当前的输入x5。将最终结果接上一个softmax，完成相应的分类任务。

2.2.2 RNN变体 （1VN）Decode的变体

1VN是表示一个输入，N个输出的结果，比如输入一个当前数据x，得到多个输出y1~y5。

这种的应用经常用于，看图说话等任务，比如输入一个图片数据x，输入就是一段的文字。

相应的1VN 变体还有一种情况，就是将输入，对应的输入到相应的隐藏层的状态当中，相对于上面的只利用一次的x的方式，当前的方式，可以更好的利用x的数据。

一个输入x输入多次。之前的Seq2Seq的作者就是基础这个基础上完成相应的任务。

2.2.3 RNN变体 （NVN）

理解好了上面的模型，当前的模型也类似，对于的相应的N个的输入结果，会输出相应的N个结果，适用于11对应的任务。

不是很适合于相应的不对称的任务。

2.2.4 RNN变体（NVM） Seq2Seq

Seq2Seq是相应的RNN的一种变体，编码器和解码器模型

可以将当前的模型理解为两个的RNN网络，decode和encode都是理解为不同的RNN网络。

Encode针对每个输入，进行计算，最终得到一个语义编码向量C。

将C输入到Decode中，得到不同的编码结果。

3.Seq2Seq基础理论

3.1 Seq2Seq的相应组成部分

Seq2seq模型可简单理解为由三部分组成: Encoder、 Decoder 和连接两者的State Vector

Seq2Seq有两种不同的变体，如下两个图所示，基本的两种Decode的变体，和上文说的两种的1VN的变体类似。

第一种的变体，就是将中间向量C作为decode解码器中的，每个隐藏层的输入，得到结果y。

比如，当前的中间结果y2的结果输入，包含y1以及encode得到的结果c，两者结果的评价拼接，输入。

第二种的相应的decode的变体，相应于第一种的变体，更简单点。将encoder得到的最终的中间向量c最为decoder的初始向量输入到rnn网络中，c仅仅参与第一层的网络，后面的网络并不参与计算。

3.2 Encoder部分

Seq2Seq主要用于对于机器翻译的任务，我们希望通过给定句子《X，Y》，通过模型完成将句子X翻译成句子Y的任务，其中X和y是由不同数量的单词组成。

首先，我们的Encoder会对输入的句子X进行相应的编码，经过相应的函数计算得到中间向量C

C向量的得到，可以通过多种的方法得到：

• 1.C = h5，将最终的结果h5 赋值给c
• 2.在h5的基础上，再添加一个函数q的运算得到C
• 3.将h1~h5都堆叠起来，添加一个函数，得到结果C
  
  主要通过Encoder，将相应的数据都凝结成精华C，C包含了前面的所有向量的数据。

3.3 Decoder解码器

3.3.1 解码器1

得到中间语义向量C后，使用Decoder进行解码。

Decoder根据中间状态向量 C和已经生成的历史信息y1, y2…yi-1 去生成t时刻的单词yi

上图并为画出，相应在h‘1时刻其实还有一个起始的触发词，如EOS。还有终止词汇n

3.3.2 解码器2

如果将C当作Decoder的每-时刻输入，则是可以得到Seq2Seq模型的另- -种模型

3.4 第一篇论文简介

3.4.1 Encoder部分

该框架由这篇论文提出: Cho et al.(2014) Learning Phrase Representations using RNN Encoder-Decoder for Statistical Machine Translation。

这篇论文主要是用GRU完成对于机器翻译任务，但是这里主要是用RNN来讲解

其中Encoder的中的softmax函数中的c是偏置，不要与语义向量C混淆。Encoder部分是典型的RNN网络。

通过Tanh得到最终的C

3.4.2 Decoder部分

decoder的ht，依赖于上一层的ht-1，y，C，还需要有偏置的计算b。

其中还需要有一个起始信号与终止信号，start与end信号。

3.5 第二篇论文

该框架由这篇论文提出: Sutskever et al.(2014) Sequence to Sequence Learning with NeuralNetworks。这个框架也是最常用的-种，结构图如下:

这篇论文主要用LSTM完成，为了简便，用RNN简介，

解码Decoder仅仅依赖于ht-1和yt-1，并没有多次依赖C

将C作为初始状态，但是不用于后面的时刻，用EOS用于起始与终止。其中只有h0 = C

4. Seq2Seq存在的问题

4.1 Encoder-Decoder局限性

从下图中可以看出Encoder和Decoder的唯- -联系只有语义编码C，即将整个输入序列的信息编码成-一个固定大小的状态向量再解码，相当于将信息”有损压缩”。

很明显这样做有两个缺点:
➢中间语义向量无法完全表达整个输入序列的信息。
➢随着输入信息长度的增加，由于向量长度固定，先前编码好的信息会被后来的信息覆盖，.
丢失很多信息。

从下图中可以明显可以发现在生成y1、y2、 y3时，语义编码C对它们所产生的贡献都是一样的。
例如翻译: Cat chase mouse，模型逐字生成:“猫” "捉”、 “老鼠”。在翻译mouse单词时，每一-个英语单词对"老鼠”的贡献都是相同的。

如果引入了Attention模型,那么mouse对于它的影响应该是最大的。

4.2 Attention解决的问题

Attention: 为了解决上面两个问题，引入了Attention模型。

A ttention模型的特点:
➢是Decoder不再将整个输入序列编码为固定长度的中间语义向量C，而是根据当前生成的新单词计算新的C(i),使得每个时刻输入不同的C ;

➢这样就解决了单词信息丢失的问题。引入了Attention的Encoder-Decoder模型如下图:

本次的分享就差不多结束了，自然语言处理的学习还真的还有很长的路呢。