四、长短期记忆网络（LSTM）数据驱动模型

长短期记忆网络（LSTM）数据驱动模型

5.1 基本原理

长短时记忆网络(Long Short Term Memory Network, LSTM)，是一种改进之后的循环神经网络，可以解决RNN无法处理长距离的依赖的问题。在原始的 RNN 模型中，隐藏层只有一个状态，即h，RNN对于短期的输入非常敏感。如果此时再增加一个状态c，让它来保存长期的状态，那么则称之为称为单元状态(cell state)。

按照时间维度展开：在 t 时刻，LSTM 的输入有三个：分别是当前时刻网络的输入值 X_t、上一时刻 LSTM 的输出值 h_t-1、以及上一时刻的单元状态 C_t-1；

LSTM 的输出有两个：当前时刻 LSTM 输出值 h_t、和当前时刻的单元状态 C_t.

使用三个控制开关控制长期状态 c:

第一个开关，负责控制继续保存长期状态c；

第二个开关，负责控制把即时状态输入到长期状态c；

第三个开关，负责控制是否