以下内容和图片均来自台湾大学深度学习课程。
课程地址:https://www.csie.ntu.edu.tw/~yvchen/f106-adl/syllabus.html
Review
首先复习一下 lecture3-1 Recurrent Neural Network 讲过的RNN结构。
RNN
假设现在有3个sequence表示为 x1 、 x2 、 x3 ,设定的初始化向量 h0 ;将 x1 与 h0 放入function
f 中,得到
sequence
。
Deep RNN
上面说的方法只有一个隐藏层,RNN当然也可以是多个隐藏层的Deep RNN。如下图,输出的 y1 结果可以和另一个初始化的向量 b0 放到另一个function
f2 中,得到 c1 与 b1 ,然后继续……
Bidirectional RNN 双向
首先从 x1 到