lstm是rnn的提升,解决了梯度消失的问题。
rnn中h 是上一步的输出(提取出了上一步的特征),和下一步的输入一起组合成新的输入,
rnn中反向传播时,最后一步结果对于中间某一步h的导师遵循链式链式连乘法则,如果h前面的系数矩阵太小,就慢慢梯度消失
lstm中把h的状态选择addtattive的方式进行更新,上一步的h减一部分,这一部分的x中更新上去一部分。cell代替了之前rnn中h,实现信息的长久携带。?现在lstm中h只是输入输出,是一个短时间的作用。
关于lstm具体如何反向传导,有兴趣可以看一看。
lstm是二十世纪提出的老东西,GRU更加时髦和简单,有时间可看。