RNN 是用来处理序列数据(前后有关联的数据)的神经网络;
普通的神经网络无法预测前后有关联的数据信息,因为无法“记住”之前发生的数据;
RNN 在分析新状态时,将之前的分析结果再次加进来一起分析,这样就可以分析前后有关联的信息;
RNN 可以用来:描述图片、翻译、分析语言感情色彩、DNA序列分析、视频动作识别……
RNN的结构可以有多种:
- 多输入多输出(many-to-many)
- 多输入单输出(many-to-one)
- 单输入多输出(one-to-many)
- 单输入单输出(one-to-one)
下图清晰的展示出几种RNN结构(来自吴恩达RNN截图)
下面对 many-to-many 结构进行展开分析(其他几种结构分析类似):
将此结构的内部展开如下图:
由图中可以看出,RNN 不仅在神经网络的层与层之间建立了连接,而且在层间的神经元之间也建立了连接;
而且,不同层权值共享(上图中的 W 是完全相同的,U、V也是);
前向传播:
训练(back-propagation through time, BPTT):
因为损失随着时间是累加的,所以在反向传播求偏导时:
在 t 时刻,分别对 W、U、V 求偏导如下:
上组式子中的累乘部分可能会导致梯度消失或梯度弥散;
相比与 sigmoid 函数,tanh 函数关于0对称,梯度较大,收敛速度更快,而且引起梯度消失更慢,所以多选用 tanh 作为此处的激活函数;
此外为了改善梯度消失的现象,也可以使用 relu 激活函数;【点击此处查看:激活函数总结】