第3章 循环神经网络（RNN与LSTM）——3.5 循环神经网络模型（双向RNN）

一、举例

1.明天早上第一节课是英语课，所以明天早上我应该带一本_______书。

可以通过前面的预测后面的，如题。

但是不能通过后面的预测前面的，建议使用双向循环神经网络。

二、双向循环神经网络

从左到右，和从右到左，都是同步进行的。

        

（1）每个时刻有两个隐藏层

（2）一个从左到右，一个从右到左

（3）向前和向后传播参数独立

w0*w1*w2...*wt， 非常小，梯度消失；非常大，梯度爆炸