深层循环神经网络

1. 引入

我们学过的序列模型，RNN, GRU, LSTM，以及双向的RNN, GRU, LSTM，他们每一个模型都可以独当一面。

如果我们想学习更复杂的函数，通常我们就会把多个RNN堆叠到一起，构建更深层次的网络。

接下来我们就讲述如何构建深层次的循环神经网络。

2. 深层RNN原理

见下图

图中左边是传统的多个全连接层组成的深层网络，把RNN按照这种模式一层一层组合在一起，得到右边的深层RNN网络。

在做计算时，比如下图中a22隐层，需要其他时刻与其他层的输出作为输入，所以计算量是很大的。

3. 深层RNN特点

1. RNN的计算复杂，哪怕只有3层，训练过程也很耗时，所以深层RNN一般不像其他网络一样有十几层。

2. CNN一般会在（最后）全连接层使用dropout，而深层RNN一般不在同一层使用dropout，只在同一个时刻不同层之间使用

3. 深层RNN可以增强模型的表达能力，学习更复杂的函数

参考

• [1] https://blog.csdn.net/weixin_42792500/article/details/81254421
• [2] Andrew Ng， sequence model class