1. 概要
我们可以将多层循环神经网络堆叠在一起,通过对几个简单层的组合,产生了一个灵活的机制。
1. 具有L个隐藏层的深度循环神经网络
- 每个隐状态都连续地传递到当前层的下一个时间步
和下一层的当前时间步。 - 与多层感知机一样,隐藏层数目L和隐藏单元数目h都是超参数。
小结
-
• 在深度循环神经网络中,隐状态的信息被传递到当前层的下一时间步和下一层的当前时间步。
-
• 有许多不同风格的深度循环神经网络,如长短期记忆网络、门控循环单元、或经典循环神经网络。这些
模型在深度学习框架的高级API中都有涵盖。 -
• 总体而言,深度循环神经网络需要大量的调参(如学习率和修剪)来确保合适的收敛,模型的初始化也
需要谨慎。