第五次作业——利用Seq2seq框架进行小说文本生成
文章目录
一、Seq2seq基本原理
Seq2seq是2014年是Google Brain团队和Yoshua Bengio带领的团队提出来的，主要用于机器翻译领域，也正是Seq2seq，将机器翻译提高到了一个新的高度，而attention机制，让机器翻译完成了进化。
我们可以将Seq2seq理解为是一个翻译模型，把一个语言序列翻译成另一种语言序列。这里从而引入Encoder-Decoder的概念（seq2seq就是Encoder-Decoder的一种）
1. RNN及其改进简介
**RNN是能够对序列进行建模的神经网络。**它的每一个时刻的状态，由当前的输入以及上一个时间步的状态来决定，经过线性变化和激活函数，就可以完成一个RNN建模。
这里存在的问题是，在神经网络训练过程中，更新参数需要计算梯度，这里的梯度计算里存在连乘，导致梯度趋于0或者趋于无穷大，使得模型无法有效地学习到长距离的依赖关系。
LSTM是RNN的一种常见的改进模型，引用了门机制去解决梯度爆炸或者梯度消散的问题。门计算所需要用到的参数，由模型自己去进行学习。每一个门都有对应的参数，每一个门的每次计算，是根据当前的输入前一刻的状态，以及内部状态，来计算门的值是什么，最后再对整个状态进行更新。
2.Encoder-Decoder
上图是一个经典的Encoder-Decoder模型，下文将简单介绍其机制
Encoder：seq2seq的编码器是单层或多层的RNN（双向），会对输入的文本进行编码变成一个向量输出。
Decoder：seq2seq的解码器，也是一个单层或多层的RNN（非双向），然后根据context信息对每一步进行解码，输出对应的文本。
Decoder模型
p ( y i ∣ y 1 , … , y i − 1 , x ) = g ( y i − 1 , s i , c i ) p\left(y_{i} \mid y_{1}, \ldots, y_{i-1}, \mathbf{x}\right)=g\left(y_{i-1}, s_{i},c_{i})\right. p(yi∣y1,…,yi−1,x)=g(yi−1,si,ci)
s i = f ( s i − 1 , y i − 1 , c i ) s_{i}=f\left(s_{i-1}, y_{i-1},c_{i})\right. si=f(si−1,yi−1,ci)
c i = ∑ j = 1 T x α i j h j c_{i}=\sum_{j=1}^{T_{x}} \alpha_{i j} h_{j} ci=∑j=1Txαijhj
但这样的问题是，这个context是一个固定长度的向量，表达能力比较有限，所以在这个基础上，又提出了Attention机制。
3.Attention 机制
每步解码都会根据当前状态对encoder的文本进行动态权重计算，然后对权重进行归一化。得到归一化后，再算出一个当前加权后的context，作为decode的context。这样处理后的表达能力就会就会更强一些。
后式是一种比较常见的Attention形式，通过加法来完成。其他的Attention形式可能会通过乘积来完成权重计算。
Bahdanua Attention
α i j = exp ( e i j ) ∑ k = 1 T x exp ( e i k ) \alpha_{i j}=\frac{\exp \left(e_{i j}\right)}{\sum_{k=1}^{T_{x}} \exp \left(e_{i k}\right)} αij=∑k=1Txexp(eik)exp(eij)
e i j = a ( s i − 1 , h j ) = v a ⊤ tanh ( W a s i − 1 + U a h
最低0.47元/天 解锁文章
1904
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
