RNN循环神经网络的物理结构以及工作原理

基础的神经网络只在层与层之间建立了权连接，RNN最大的不同之处就是在层之间的神经元和建立连接（红线箭头指向部分）。

 

输入层的权值为U，各层之间的权值W，隐藏层到输出层的输出层的权值为V。

权值是共享的。

非输出层的激活函数一般为tanh函数，即：h=tanh(Ux+Wh+b)

输出层不需要激活函数 o=Vh+c

最终模型的输出为y’=softmax(o)

Softmax函数将值进行归一化，并且向量之和为1 ， 预测类别就是概率值最大的那个。

损失函数: (y’-y) 平方

拿到损失函数，就可以向前传播误差，梯度方向搜索，对权值进行更新。

 

sigmoid函数的导数范围是(0,0.25]，tach函数的导数范围是(0,1]，他们的导数最大都不大于1。

这就会导致一个问题，在上面式子累乘的过程中，如果取sigmoid函数作为激活函数的话，那么必然是一堆小数在做乘法，结果就是越乘越小。随着时间序列的不断深入，小数的累乘就会导致梯度越来越小直到接近于0，这就是“梯度消失“现象。其实RNN的时间序列与深层神经网络很像，在较为深层的神经网络中使用sigmoid函数做激活函数也会导致反向传播时梯度消失，梯度消失就意味消失那一层的参数再也不更新，那么那一层隐层就变成了单纯的映射层，毫无意义了，所以在深层神经网络中，有时候多加神经元数量可能会比多家深度好。

为什么还要用它做激活函数呢？原因是tanh函数相对于sigmoid函数来说梯度较大，收敛速度更快且引起梯度消失更慢。

还有一个原因是sigmoid函数还有一个缺点，Sigmoid函数输出不是零中心对称。sigmoid的输出均大于0，这就使得输出不是0均值，称为偏移现象，这将导致后一层的神经元将上一层输出的非0均值的信号作为输入。关于原点对称的输入和中心对称的输出，网络会收敛地更好。

RNN的特点本来就是能“追根溯源“利用历史数据，现在告诉我可利用的历史数据竟然是有限的，这就令人非常难受，解决“梯度消失“是非常必要的。解决“梯度消失“的方法主要有：
1、选取更好的激活函数（将tanh改为Relu）
2、改变传播结构（LSTM）

 

ReLU函数的左侧导数为0，右侧导数恒为1，这就避免了“梯度消失“的发生。但恒为1的导数容易导致“梯度爆炸“，但设定合适的阈值可以解决这个问题。还有一点就是如果左侧横为0的导数有可能导致把神经元学死，不过设置合适的步长（学习旅）也可以有效避免这个问题的发生。

 

参考：https://blog.csdn.net/zhaojc1995/article/details/80572098