关于lstm的理解

lstm是rnn的提升，解决了梯度消失的问题。

rnn中h 是上一步的输出（提取出了上一步的特征），和下一步的输入一起组合成新的输入，

rnn中反向传播时，最后一步结果对于中间某一步h的导师遵循链式链式连乘法则，如果h前面的系数矩阵太小，就慢慢梯度消失

lstm中把h的状态选择addtattive的方式进行更新，上一步的h减一部分，这一部分的x中更新上去一部分。cell代替了之前rnn中h，实现信息的长久携带。?现在lstm中h只是输入输出，是一个短时间的作用。

 

关于lstm具体如何反向传导，有兴趣可以看一看。

lstm是二十世纪提出的老东西，GRU更加时髦和简单，有时间可看。