1:为什么引入RNN,引入时序概念
2: RNN是递归神经网络的总称,LSTM和GRU是RNN的具体一种。
前后有联系
RNN神经元的结构
U:是权重
S: 上一个时间的输出
RNN方向传播
对于T时刻的误差,需要对U,V,W求一下偏导。
放在后面的字对句子的影响比较大,放在前面的字对句子的影响比较小。
会引起梯度消失和爆炸。如何解决这个问题。引入梯度截断。
RNN很容易引起梯度消失和爆炸,可以引入LSTM 解决此问题。
1:为什么引入RNN,引入时序概念
2: RNN是递归神经网络的总称,LSTM和GRU是RNN的具体一种。
前后有联系
RNN神经元的结构
U:是权重
S: 上一个时间的输出
RNN方向传播
对于T时刻的误差,需要对U,V,W求一下偏导。
放在后面的字对句子的影响比较大,放在前面的字对句子的影响比较小。
会引起梯度消失和爆炸。如何解决这个问题。引入梯度截断。
RNN很容易引起梯度消失和爆炸,可以引入LSTM 解决此问题。