深度循环神经网络

1. 概要

我们可以将多层循环神经网络堆叠在一起，通过对几个简单层的组合，产生了一个灵活的机制。

1. 具有L个隐藏层的深度循环神经网络

1. 每个隐状态都连续地传递到当前层的下一个时间步
   和下一层的当前时间步。
2. 与多层感知机一样，隐藏层数目L和隐藏单元数目h都是超参数。

小结

1. • 在深度循环神经网络中，隐状态的信息被传递到当前层的下一时间步和下一层的当前时间步。

2. • 有许多不同风格的深度循环神经网络，如长短期记忆网络、门控循环单元、或经典循环神经网络。这些
   模型在深度学习框架的高级API中都有涵盖。

3. • 总体而言，深度循环神经网络需要大量的调参（如学习率和修剪）来确保合适的收敛，模型的初始化也
   需要谨慎。