AI作业12

• 长短期记忆网络 LSTM（输入门、遗忘门、输出门）
  长短期记忆网络（LSTM）是一种循环神经网络（RNN）的变种，广泛应用于序列建模、自然语言处理等领域。与传统的RNN相比，LSTM引入了三个门控机制：输入门、遗忘门和输出门。这三个门控制着信息在LSTM单元内部的流动，从而有效地解决了传统RNN中梯度消失和梯度爆炸的问题，可以更好地捕捉序列中的长期依赖关系。
  输入门用于决定当前时刻的输入信号是否进入LSTM单元。具体来说，它根据当前时刻的输入 和前一个时刻的隐状态来计算一个介于0到1之间的值，表示当前输入在LSTM单元中的重要程度。
  遗忘门用于决定前一个时刻的信息是否保留到当前时刻。具体来说，它根据当前时刻的输入和前一个时刻的隐状态计算一个介于0到1之间的值，表示前一个时刻的信息在当前时刻被保留的程度。
  输出门用于决定当前时刻的输出值。具体来说，它根据当前时刻的输入、前一个时刻的隐状态和当前时刻的单元状态计算一个介于0到1之间的值，表示当前时刻的输出在LSTM单元中的重要程度。
• LSTM如何克服梯度消失
  通过遗忘门和输入门的控制，在不同时间步之间进行线性传递。这种直接的传递方式保留了一定的历史信息，使得模型能够更好地捕捉到序列中的长期依赖关系。同时，由于遗忘门和输入门的存在，模型可以在每个时间步选择性地保留或遗忘一些信息，从而进一步增强了模型的记忆能力。这种机制使得 LSTM 能够在一定程度上避免梯度消失问题。
• 门控循环单元神经网络 GRU（更新门、重置门）
  门控循环单元神经网络（GRU）是一种类似于 LSTM 的循环神经网络结构。它通过引入两个门控机制：更新门和重置门，来控制信息的流动。更新门用来决定当前时刻的输入应该如何融合到前一个时刻的状态中，而重置门则用来控制是否保留前一个时刻状态中的某些信息。