AI作业12-LSTM

1.长短期记忆网络 LSTM（输入门、遗忘门、输出门）：

长短期记忆网络（LSTM）是一种特殊的循环神经网络（RNN），它可以处理长时间序列中的依赖关系。LSTM的核心是细胞状态，它是一条水平线，贯穿整个网络，保存了长期的记忆。LSTM还有三个门控制器，分别是输入门、遗忘门和输出门，它们可以动态地调节细胞状态的信息流，增加或减少记忆。输入门决定了当前输入和上一时刻的输出对细胞状态的影响程度；遗忘门决定了上一时刻的细胞状态有多少被遗忘；输出门决定了当前的细胞状态有多少被输出。

2.LSTM如何克服梯度消失：

LSTM是一种改进的循环神经网络，它可以克服梯度消失的问题，从而有效地学习长期依赖的信息。LSTM的核心是细胞状态，它是一条贯穿整个序列的信息流，可以通过门控机制来控制信息的增加或遗忘。LSTM有三个门，分别是遗忘门、输入门和输出门。遗忘门决定了哪些信息需要从细胞状态中丢弃，输入门决定了哪些信息需要添加到细胞状态中，输出门决定了细胞状态对当前隐藏状态的贡献。LSTM通过这种方式，可以保持或更新细胞状态，避免梯度在反向传播过程中衰减或爆炸。

3.门控循环单元神经网络 GRU（更新门、重置门）：

门控循环单元神经网络（GRU）是一种简化的循环神经网络（RNN），它可以有效地解决长期依赖问题。GRU的核心思想是利用两个门控单元来控制信息的流动：更新门和重置门。更新门决定了当前状态需要保留多少历史状态的信息，以及需要接收多少新的候选状态的信息。重置门决定了候选状态的计算是否依赖于历史状态。GRU相比于LSTM，没有引入额外的记忆单元，而是直接使用隐藏状态来存储长期信息，这样可以减少参数数量和计算复杂度，同时保持较好的性能。