LSTM（长短期记忆）

       长短期记忆(LSTM, Long-Short Term Memory)是一种特殊的循环神经网络(RNN)，它在处理时间序列数据、自然语言处理等任务时有着各类优良的表现。LSTM网络的关键是cell state，即细胞状态。细胞状态类似于传送带，直接在整个链上运行，只有一些少量的线性交互。信息在上面会非常容易地保存并传递下去。

        存储单元中管理向单元移除或添加的结构叫门限，有三种：遗忘门、输入门、输出门，门限由Sigmoid激活函数和逐点乘法运算组成。前一个时间步长的隐藏状态被送到遗忘门、输入门和输出门。在前向计算过程中，输入门学习何时激活让当前输入传入存储单元，而输出门学习何时激活让当前隐藏层状态传出存储单元。

遗忘门的作用：

         1. 遗忘不必要信息：遗忘门通过一个 Sigmoid 激活函数控制细胞状态中哪些信息需要被遗忘。这样，LSTM可以选择性地忘记之前时间步中不重要或不相关的信息，从而保持对当前任务有用的记忆。

         2. 处理长期依赖关系：长期依赖是指时间序列数据中相距较远的信息之间的关联关系。遗忘门的存在使得LSTM网络能够更好地处理长期依赖关系，因为它可以选择性地保留过去时间步的重要信息，而忽略无关紧要的信息。

        3. 动态调整记忆：遗忘门根据当前时间步的输入和前一个时间步的隐藏状态，动态地调整细胞状态中的记忆。这使得LSTM网络能够适应不同时间步的输入模式和特征，提高了网络的灵活性和适应性。

        4. 减少梯度消失问题：长短期记忆网络设计的初衷之一就是解决传统循环神经网络中的梯度消失问题。遗忘门的引入有助于减少梯度消失，因为它可以选择性地保留对梯度计算有用的信息，避免不必要的信息传递导致梯度过小而难以更新网络参数。

         遗忘门在LSTM中的作用是通过控制细胞状态中的记忆，选择性地遗忘不必要的信息，处理长期依赖关系，动态调整网络的记忆状态，以及减少梯度消失问题，从而提高了网络对时间序列数据的学习和记忆能力。

输入门的作用：

        1. 控制信息流入：输入门决定了当前时间步的新输入数据对细胞状态的影响程度。它通过一个 Sigmoid 激活函数将输入数据的权重限制在0到1之间，这样可以控制有多少新的信息进入细胞状态。

        2. 过滤无关信息：输入门的作用类似于一个筛子，它能够选择性地保留对当前任务有用的信息，同时过滤掉无关或不重要的信息。这有助于网络更好地学习和记忆关键模式和特征。

        3. 处理长期依赖关系：由于输入门可以控制信息流入的程度，LSTM网络能够有效处理时间序列数据中的长期依赖关系。这使得LSTM在处理需要长期记忆的任务时表现优异，如语言建模、文本生成等。

        4. 适应不同时间步的输入：输入门根据每个时间步的输入数据动态调整，这使得LSTM网络能够灵活地适应不同时间步的输入模式和特征，提高了网络的泛化。

输入门通过控制新输入信息对细胞状态的影响，帮助LSTM网络有效地处理和记忆时间序列数据中的关键信息，从而提高了网络的学习和预测能力。

输出门的作用：

        1. 控制细胞状态输出：输出门通过一个 Sigmoid 激活函数控制当前时间步的细胞状态对隐藏状态的输出程度。这样，LSTM可以选择性地输出对当前任务有用的信息，而过滤掉不必要的信息。

        2. 处理长期依赖关系：输出门的存在使得LSTM网络能够更好地处理长期依赖关系。它可以选择性地输出经过处理的细胞状态，保留对当前任务有用的记忆，并忽略无关紧要的信息。

        3. 动态调整输出：输出门根据当前时间步的输入和前一个时间步的隐藏状态，动态地调整细胞状态对隐藏状态的输出。这使得LSTM网络能够适应不同时间步的输入模式和特征，提高了网络的灵活性和适应性。

        4. 产生预测或输出：输出门的输出通常与细胞状态经过一个 tanh 激活函数得到的值相乘，然后作为当前时间步的隐藏状态的一部分，用于产生最终的预测或输出。这样，LSTM可以根据当前记忆状态和输入信息生成适当的输出结果。

        输出门在LSTM中的作用是控制细胞状态对隐藏状态的输出程度，处理长期依赖关系，动态调整网络的输出状态，以及产生最终的预测或输出结果。