2020-10-28 吴恩达DL学习-C5 序列模型-W1 循环序列模型(1.12 深层循环神经网络 )

1.视频网站：mooc慕课https://mooc.study.163.com/university/deeplearning_ai#/c
2.详细笔记网站(中文)：http://www.ai-start.com/dl2017/
3.github课件+作业+答案：https://github.com/stormstone/deeplearning.ai

1.12 深层循环神经网络 Deep RNNs

目前你学到的不同RNN的版本，每一个都可以独当一面。但是要学习非常复杂的函数，通常我们会把RNN的多个层堆叠在一起构建更深的模型。这节课里我们会学到如何构建这些更深的RNN。

如上图，一个标准的NN，首先是输入$x$，然后堆叠上隐含层，所以应该有激活值，比如说第一层是$a^{[1]}$。接着堆叠上下一层，激活值$a^{[2]}$。可以再加一层$a^{[3]}$，然后得到预测值$\hat{y}$。

深层的RNN网络跟这个有点像，用手画的这个网络，然后把它按时间展开就是了，我们看看。

如上图，这是我们一直见到的标准的RNN，只是我把这里的符号稍微改了一下，不再用原来的$a^{[0]}$表示0时刻的激活值了，而是加上一个$[1]$，用$a^{[1]<0>}$来表示第一层。所以我们现在用 a [ l ] < t