fangting的博客

原创 关于lstm的理解

lstm是rnn的提升，解决了梯度消失的问题。rnn中h 是上一步的输出（提取出了上一步的特征），和下一步的输入一起组合成新的输入，rnn中反向传播时，最后一步结果对于中间某一步h的导师遵循链式链式连乘法则，如果h前面的系数矩阵太小，就慢慢梯度消失lstm中把h的状态选择addtattive的方式进行更新，上一步的h减一部分，这一部分的x中更新上去一部分。cell代替了之前rnn中h，...