一、 RNN(Recurrent Neural Networks)
About RNN
循环神经网络(RNN)对序列特性的数非常有效,它将上一个时间t-1的隐节点作为当前时间t的输入,主要应用于时序分析、语音识别、机器翻译、NLP等领域。
RNN
RNN存在的问题
梯度消失/爆炸,可以用梯度截断的阈值方法解决,手动将第阈值θ。或者使用LSTM。
二、LSTM(Long Short Term Memory)
About LSTM
解决RNN的长期依赖问题,随着时间片的增加,RNN丧失了学习先前时间片的信息。使用了门机制控制特征的流通与损失(可理解为通过激活函数+矩阵权重控制)。
LSTM
LSTM Code
在这里插入代码片
GRU(Gate Recurrent Unit)
About GRU
同样也是解决长期记忆和反向传播的梯度等问题而提出来的,相比于LSTM,GRU更训练效率更高,参数较少,但性能却和LSTM相差无几。