LSTM神经网络

       LSTM被广泛用于许多序列任务（包括天然气负荷预测，股票市场预测，语言建模，机器翻译），并且比其他序列模型（例如RNN）表现更好，尤其是在有大量数据的情况下。 LSTM经过精心设计，可以避免RNN的梯度消失问题。消失梯度的主要实际限制是模型无法学习长期的依赖关系。但是，通过避免消失的梯度问题，与常规RNN相比，LSTM可以存储更多的记忆（数百个时间步长）。与仅维护单个隐藏状态的RNN相比，LSTM具有更多参数，可以更好地控制在特定时间步长保存哪些记忆以及丢弃哪些记忆。例如，在每个训练步骤中都必须更新隐藏状态，因此RNN无法确定要保存的记忆和要丢弃的记忆。

     

LSTM可以看作是一个更高级的RNN系列，主要由五个不同部分组成。

●单元状态：这是LSTM单元的内部单元状态（例如，记忆）。

●隐藏状态：这是用于计算预测结果的外部隐藏状态

●输入门：确定发送到单元状态的当前输入量

●忘记门：确定发送到当前单元状态的先前单元状态的数量

●输出门：确定隐藏状态下输出的单元状态数

可以将RNN加载到单元架构中，如下所示。该单元输出的状态取决于前一个单元的状态和当前输入（使用非线性激活函数）。但是，在RNN中，单元状态始终随每个输入而变化。这将不断更改RNN的单元状态。此行为对于保留长期依赖关系非常不利。 LSTM可以决定何时以单位状态替换，更新或忘记存储在每个神经元中的信息。这意味着LSTM具有防止单元状态改变的机制，从而保留了长期依赖关系。

采用引入门控机制来实现这种效果。对于单元需要执行的每个操作，LSTM都有一个相应的门。门在0和1之间连续（通常是S型函数）。 0表示没有信息通过门，1表示所有信息都通过门。 LSTM对单元中的每个神经元使用一个这样的门。如前所述，这些门控制以下内容：

●当前有多少输入被写入单元状态（输入门）

●先前单元状态（忘记门）遗忘的信息量

●从单元状态到最终隐藏状态（输出门）的信息输出量