【22-23 春学期】AI作业12-LSTM

1.长短期记忆网络LSTM（输入门、遗忘门、输出门）

长短期记忆网络是一种常用的循环神经网络变体，用于处理序列数据的建模和预测。LSTM通过引入输入门、遗忘门和输出门的机制，解决了传统RNN中的梯度消失和长期依赖问题。

输入门：控制输入信息的更新。输入门根据当前输入和前一时间步的隐藏状态来决定哪些信息应该被更新并存储在细胞状态中。

遗忘门：控制细胞状态的遗忘。遗忘门根据当前输入和前一时间步的隐藏状态来决定哪些信息应该被遗忘或丢弃。

输出门：控制输出信息的生成。输出门根据当前输入和前一时间步的隐藏状态来决定从当前细胞状态中提取哪些信息，并输出到当前时间步的隐藏状态。

2.LSTM如何克服梯度消失

通过遗忘门和输入门的控制，LSTM能够有效地避免梯度在反向传播过程中的快速消失。遗忘门和输入门的作用是动态调整细胞状态的更新和遗忘程度，使得LSTM可以更好地处理长序列中的依赖关系。

3.门控循环单元神经网络 GRU（更新门、重置门）

门控循环单元神经网络是一种用于处理序列数据的循环神经网络变体。GRU通过引入更新门和重置门的机制，允许网络在处理序列时更好地捕捉长期依赖关系，并解决了传统RNN中的梯度消失问题。

更新门：更新门帮助模型决定何时“忘记”以前的隐藏状态，何时使用新的候选隐藏状态。更新门的值越接近1，模型就越倾向于保留以前的隐藏状态；更新门的值越接近0，模型就越倾向于使用新的候选隐藏状态。更新门的设计帮助GRU捕捉和存储长序列中的依赖关系。

重置门：重置门帮助模型决定在计算新的候选隐藏状态时，是否要“忽视”以前的隐藏状态。重置门的值越接近1，模型就越倾向于“考虑”以前的隐藏状态；重置门的值越接近0，模型就越倾向于“忽视”以前的隐藏状态。重置门的设计使得GRU可以在不同程度上利用以前的隐藏状态，有助于捕捉序列中的复杂模式。