RNN、梯度消失与梯度爆炸、LSTM GRU

RNN（the student opened their______）

其结构与函数表达式：

优势有：可以有任意长度的输入；t步的计算理论上可以共享到后面的每一步；模型是固定的，不会随着输入的增加而增加；每一步使用的是相同的W。
缺点：由于需要反复计算，计算慢；在实际中早的信息很难被后面的步骤所获取（梯度爆炸、梯度消失）
训练步骤：
1.获取一个文本资料库（数据集）
2.通过每一个单词的输入预测出到该单词为止将出现的下一个单词y
3.计算出预测的下一个单词和实际出现的下一个单词的误差（Loss：J），对所有的J求取平均值得到平均误差，更新权值。

梯度消失和梯度爆炸问题：

在更新权值的时候采用的是梯度下降算法，通过误差对节点的倒数来对权值进行更新，采取的方法通常为链式求导法则。