DeepLearning 中的 RNN 与 BRNN(双向RNN)

RNN

下图为 RNN 隐藏层单元的可视化呈现：

BRNN

下图，紫色表示正向连接，绿色表示反向连接，通过下图箭头连接，这个网络就构成了一个无环图。如图，给定一个输入序列 X<1>--X<4>，这个序列首先计算前向的a<1>, 然后计算a<2>，接着a<3>, a<4>；而反向序列则是从a<4>开始，计算a<3>，注意这里是前向传播而不是反向传播。图中的前向传播，一部分计算是从左到右，一部分是从右到左。

计算完了a<3>，可以用这些激活值去计算反向的 a<2>，然后是反向的 a<1>。把所有这些激活值都计算完了，就可以计算预测结果了，这其中涉及到一个激活函数 y<t>，作用于  W_y + t 时刻的前向激活值a<t> + 反向激活值a<t>。