时空序列预测问题1: LSTM 的理解

作为一种特殊的循环神经网络，LSTM（Long Short Term Memory）通过遗忘门来筛选过去的信息；通过输入门来筛选tanh的神经网络层的信息，组成记忆门。记忆门和过去的信息对应项相加得到新的细胞状态。利用tanh来映射细胞状态信息，并通过输出门来控制细胞状态的输出，LSTM 的原理图如下图所示：

图中的
表示逐元素相乘，
表示逐元素相加，
σ(∙)为用于门的sigmoid激活函数，σ(x)=1/(1+e^(-x) )，作用是将输入转换为0-1之间的数值，用来描述多少量的输入信号可以通过。tanh(∙)是用于块输入和输出的tanh激活函数，tanh(x)=(e^x-e(-x))/(e^x+e(-x) )
LSTM 的详细的公式实现过程如下所示：
1.通过包含σ(∙)函数的神经网络层对过去的信息c(t-1)进行筛选，详细的说就是接收 t 时刻的输入信号 xt 和 t-1 时刻 LSTM 的上一个输出信号 ht-1，这两个信号进行拼接以后共同输入到σ(∙)神经网络层中，然后输出信号 ft，ft是一个 0到1之间的数值（相当于开关），并与 c(t-1)相乘来决定c(t-1)中的哪些信息将被保留，哪些信息将被舍弃（为了方便理解，自己手动加了一个筛选后的状态）。
公式为：

2.记忆门。记忆门主要包含两部分。第一部分是由σ(∙)组成的输入门，将t时刻的输入信号 xt 和 t-1时刻LSTM的上一个输出信号 ht-1映射到0，1之间，来决定那些信息被输送（相当于开关）。

第二部分是由tanh组成的神经网络结构层，将t时刻的输入信号 xt 和 t-1时刻LSTM的上一个输出信号 ht-1映射到-1，1之间，组成一个临时的细胞状态
最后将这两个输出对应项相乘，得到最终的输送信息，（为了方便理解，自己手动加了一个筛选后的状态）。

3.然后将从遗忘门选择的信息和输入门选择的记忆门的输出各项相加，得到新的细胞状态，该状态继续传递到t+1时刻的LSTM网络中，作为新的细胞状态：

4.输出门：同理，由σ(∙)组成的输出门ot，将t时刻的输入信号 xt 和 t-1时刻LSTM的上一个输出信号 ht-1映射到0，1之间，来决定那些信息被输送（相当于开关）。新的细胞状态通过tanh神经网络层映射到-1~1之间，并与ot对应项相乘，通过输出门来决定哪些信息输出：

所以为什么叫输入门，遗忘门和输出门就不言而喻了