LSTM

结构

LSTM结构如下：

输入门、遗忘门和输出门

输入门$I_t$，遗忘门$F_t$和输出门$O_t$定义如下：

候选细胞

细胞

通过输入门和遗忘门来控制细胞的信息流动。如果遗忘门一直近似1且输入门一直近似0，过去的细胞将一直通过时间保存并传递至当前时刻。这个设计可以应对循环神经网络中的梯度衰减问题，并更好地捕捉时序数据中间隔较大的依赖关系。

隐含状态

通过输出门来控制细胞信息到隐含状态的信息流动。当输出门近似1，细胞信息将传递到隐含层变量；当输出门近似0，细胞信息只自己保留。