1. 引入
我们学过的序列模型,RNN, GRU, LSTM,以及双向的RNN, GRU, LSTM,他们每一个模型都可以独当一面。
如果我们想学习更复杂的函数,通常我们就会把多个RNN堆叠到一起,构建更深层次的网络。
接下来我们就讲述如何构建深层次的循环神经网络。
2. 深层RNN原理
见下图
图中左边是传统的多个全连接层组成的深层网络,把RNN按照这种模式一层一层组合在一起,得到右边的深层RNN网络。
在做计算时,比如下图中a22隐层,需要其他时刻与其他层的输出作为输入,所以计算量是很大的。
3. 深层RNN特点
-
RNN的计算复杂,哪怕只有3层,训练过程也很耗时,所以深层RNN一般不像其他网络一样有十几层。
-
CNN一般会在(最后)全连接层使用dropout,而深层RNN一般不在同一层使用dropout,只在同一个时刻不同层之间使用
-
深层RNN可以增强模型的表达能力,学习更复杂的函数
参考
- [1] https://blog.csdn.net/weixin_42792500/article/details/81254421
- [2] Andrew Ng, sequence model class