本文转载自:http://blog.csdn.net/u011414416/article/details/46694877 转载请注明原文出处
本文将简要介绍RNN存在的梯度消失和梯度爆炸问题,然后介绍长短时记忆(Long Short-Term memory,LSTM)的相关公式及推导过程。
以下内容主要引自Alex Graves写的Supervised Sequence Labelling with Recurrent Neural Networks 一书。
(http://www.springer.com/cn/book/9783642247965)