LSTM

1、对于长时依赖问题

循环神经网络难以记忆长时间的信息。
LSTM长短时记忆网络能在一定程度上解决长时依赖问题。

2、输入门、遗忘门和输出门

输入门控制着网络的输入
遗忘门控制着记忆单元
输出门控制着网络的输出

遗忘门的作用就是决定以前的哪些记忆将被保留，哪些记忆将被遗忘，正是由于遗忘门的作用，LSTM有了长期记忆的功能。对于给定的功能，遗忘门能够自己学习保留多少以前的记忆。

3、遗忘门——记忆衰减系数

C_{t-1}作为上一步t-1时刻网络中的记忆单元，传入t时刻的网络之后，第一步就是决定他的遗忘程度，将t时刻前面的记忆状态乘上一个0~1的系数进行衰减，接着加上t时刻学到的记忆作为更新之后的记忆传出网络。

记忆衰减系数f_{t}计算过程如下：

首先将t-1时刻的网络输出h_{t-1}和这一步的网络输入x_{t}结合起来，然后作用线性变换，最后再经过sigmoid激活函数，将结果映射到0~1作为记忆衰减系数。

**f_{t}为遗忘门

4、t时刻学到记忆的计算过程

当前时刻学到的记忆C~_[t}是通过当前输入和上一时刻输出的线性变换和tanh激活函数得到的。过程如下：

其中，对于该时刻学到的记忆也有一个衰减系数i_{t}，这个系数跟上面方式相同，使用线性变换再使用sigmoid激活函数，将结果映射到0~1之间。

**i_{t}为输入门

5、当前时刻的记忆状态C_{t}的计算过程

最后将t-1时刻的衰减系数乘t-1时刻的记忆，加上该时刻t学到的记忆乘以它对应的衰减系数，便得到了当前t时刻的记忆状态。计算过程如下：

6、计算当前时刻的输出h_{t}

当前时刻t的网络输出h_{t}取决于当前时刻t的记忆状态和t时刻的输入、t-1时刻的输出，具体计算过程如下：