一、举例
1.明天早上第一节课是英语课,所以明天早上我应该带一本_______书。
可以通过前面的预测后面的,如题。
但是不能通过后面的预测前面的,建议使用双向循环神经网络。
二、双向循环神经网络
从左到右,和从右到左,都是同步进行的。
(1)每个时刻有两个隐藏层
(2)一个从左到右,一个从右到左
(3)向前和向后传播参数独立
w0*w1*w2...*wt, 非常小,梯度消失;非常大,梯度爆炸
一、举例
1.明天早上第一节课是英语课,所以明天早上我应该带一本_______书。
可以通过前面的预测后面的,如题。
但是不能通过后面的预测前面的,建议使用双向循环神经网络。
二、双向循环神经网络
从左到右,和从右到左,都是同步进行的。
(1)每个时刻有两个隐藏层
(2)一个从左到右,一个从右到左
(3)向前和向后传播参数独立
w0*w1*w2...*wt, 非常小,梯度消失;非常大,梯度爆炸