RNN,recurrent neural network
LSTM,long short-term memory network
LSTM隐藏层激活函数,通常使用tanh函数。
输出层使用softmax函数。
RNN反向传播算法,back-propagation through time
LSTM可以学习长期依赖信息,增加遗忘门,输入门,输出门。
具体见:
https://www.cnblogs.com/jiangxinyang/p/9362922.html
LSTM解决RNN梯度弥散。
在RNN中将tanh换成ReLU可以一定程度上解决梯度消失,但:
RNN中使用ReLU会导致非常大但输出值,导致梯度爆炸;正交权重矩阵可以解决梯度爆炸;