RNN递归神经网络

1:为什么引入RNN，引入时序概念

2: RNN是递归神经网络的总称，LSTM和GRU是RNN的具体一种。
前后有联系

RNN神经元的结构

U：是权重
S: 上一个时间的输出


RNN方向传播


对于T时刻的误差，需要对U,V,W求一下偏导。

放在后面的字对句子的影响比较大，放在前面的字对句子的影响比较小。
会引起梯度消失和爆炸。如何解决这个问题。引入梯度截断。
RNN很容易引起梯度消失和爆炸，可以引入LSTM 解决此问题。