lstm数学推导_LSTM 数学公式和代码实现

https://www.cnblogs.com/liujshi/p/6159007.html

LSTM的推导与实现

前言

最近在看CS224d，这里主要介绍LSTM(Long Short-Term Memory)的推导过程以及用Python进行简单的实现。LSTM是一种时间递归神经网络，是RNN的一个变种，非常适合处理和预测时间序列中间隔和延迟非常长的事件。假设我们去试着预测‘I grew up in France...(很长间隔)...I speak fluent French’最后的单词，当前的信息建议下一个此可能是一种语言的名字(因为speak嘛)，但是要准确预测出‘French’我们就需要前面的离当前位置较远的‘France’作为上下文，当这个间隔比较大的时候RNN就会难以处理，而LSTM则没有这个问题。

LSTM的原理

为了弄明白LSTM的实现，我下载了alex的原文，但是被论文上图片和公式弄的晕头转向，无奈最后在网上收集了一些资料才总算弄明白。我这里不介绍就LSTM的前置RNN了，不懂的童鞋自己了解一下吧。

LSTM的前向过程

首先看一张LSTM节点的内部示意图：

图片来自一篇讲解LSTM的blog(http://colah.github.io/posts/2015-08-Understanding-LSTMs/)

这是我认为网上画的最好的LSTM网络节点图(比论文里面画的容易理解多了)，LSTM前向过程就是看图说话，关键的函数节点已经在图中标出,这里我们忽略了其中一个tanh计算过程。

g(t)i(t)f(t)o(t)s(t)h(t)======ϕ(Wgxx(t)+Wghh(t−1)+bgσ(Wixx(t)+Wihh(t−1)+biσ(Wfxx(t)+Wfhh(t−1)+bfσ(Woxx(t)+Wohh(t−1)+bog(t)∗i(t)+s(t−1)∗f(t)s(t)∗o(t)(1)(2)(3)(4)(5)