超详细的长短时记忆LSTM和门控循环单元GRU的反向传播公式推导！

门控循环单元GRU

好文章(有助理解)：https://zhuanlan.zhihu.com/p/28297161

 

 

 

 

 

 

 

 

 

长短时记忆LSTM

LSTM模型是用来解决simpleRNN对于长时期依赖问题（LongTerm Dependency），即通过之前提到的但是时间上较为久远的内容进行后续的推理和判断。LSTM的基本思路是引入了门控装置，来处理记忆单元的记忆/遗忘、输入程度、输出程度的问题。通过一定的学习，可以学到何时对各个门开启到何种程度，因为门控也是由有一定可以学习的参数的神经网络来实现的，这样就可以让机器知道何时应该记住某个信息，而何时应该抛弃某个信息。

 

 

 

 

不好意思，各位朋友，暂时没空排版，先记录下来，有空来排版一下！！！ 

如果对DeepLearning的底层实现感兴趣，可以到我的这篇博客看看，相信会有很大帮助，谢谢！