#Datawhale AI夏令营#Rnn特征模型的详解 task2

   

1.RNN介绍

循环神经网络是一种对序列数据有较强的处理能力的网络。在网络模型中不同部分进行权值共享使得模型可以扩展到不同样式的样本，比如CNN网络中一个确定好的卷积核模板，几乎可以处理任何大小的图片。将图片中分成多个区域，使用同样的卷积核对每一个区域进行处理，最后可以获得非常好的处理结果。同样的，循环网络使用类似的模块（形式上相似）对整个序列进行处理，可以将很长的序列进行泛化，得到需要的结果。

        RNN的目的就是用来处理序列数据的。在传统的神经网络模型中，是从输入层到隐含层再到输出层，层与层之间是全连接的，每层之间的节点是无连接的。但是这种普通的神经网络对于很多问题都无能无力。比如你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。

注：上图来源于网络

2.Rnn的基本原理

输入单元（input units）：

        隐藏单元（hidden units）：

        输出单元（output units）：

        输入层：表示时刻t的输入。

        隐藏层：，f是非线性激活函数，比如tanh。

        输出层：，softmax函数是归一化的指数函数，使每个元素的范围都在0到1之间 ，并且所有元素的和为1。

        循环神经网络的输入是序列数据，每个训练样本是一个时间序列，包含多个相同维度的向量。网络的参数如何通过训练确定？这里就要使用解决循环神经网络训练问题的 Back Propagation Through Time 算法，简称BPTT。

        循环神经网络的每个训练样本是一个时间序列，同一个训练样本前后时刻的输入值之间有关联，每个样本的序列长度可能不相同。训练时先对这个序列中的每个时刻的输入值进行正向传播，再通过反向传播计算出参数的梯度值并更新参数。

        循环神经网络在进行反向传播时也面临梯度消失或者梯度爆炸问题，这种问题表现在时间轴上。如果输入序列的长度很长，人们很难进行有效的参数更新。通常来说梯度爆炸更容易处理一些。梯度爆炸时我们可以设置一个梯度阈值，当梯度超过这个阈值的时候可以直接截取。

        有三种方法应对梯度消失问题：

        （1）合理的初始化权重值。初始化权重，使每个神经元尽可能不要取极大或极小值，以躲开梯度消失的区域。

        （2） 使用 ReLu 代替 sigmoid 和 tanh 作为激活函数。

        （3） 使用其他结构的RNNs，比如长短时记忆网络（LSTM）和 门控循环单元 （GRU），这是最流行的做法。

利用baseline的输出结果：