AI作业12-LSTM

长短期记忆网络 LSTM（输入门、遗忘门、输出门）

长短期记忆网络是一种特殊的递归神经网络，它通过特别设计的网络结构来解决普通RNN在处理长序列数据时的梯度消失和爆炸问题。

1. 输入门（Input Gate）：决定我们要在记忆细胞中存储多少来自输入的新信息。它由两部分组成，一个是sigmoid层，另一个是tanh层。sigmoid层输出0到1之间的值，表示我们要保存多少新信息，0表示“什么都不保存”，1表示“保存所有”，而tanh层则生成新的候选值，可能会被加入到状态中。
2. 遗忘门（Forget Gate）：决定我们要从记忆细胞中遗忘多少信息。它的作用是通过丢弃不再需要的信息，来保持细胞状态的有效性和简洁性。它是一个sigmoid层，输出0到1之间的值，0表示“完全忘记”，1表示“完全记住”。
3. 输出门（Output Gate）：根据当前输入和细胞状态，决定输出多少细胞的新状态。它由一个sigmoid层和一个tanh层组成。sigmoid层决定我们要输出哪部分信息，而tanh层则将细胞状态转换到-1到1之间，然后与sigmoid的输出相乘，最后输出我们想要的信息。

LSTM如何克服梯度消失

LSTM在计算过程中，会有一条“细胞状态”直接在各个时间步之间传递。在每个时间步，都会有一些信息被遗忘，一些新信息被添加进来。这个过程通过“遗忘门”和“输入门”来控制。因为细胞状态的这种线性传递性，使得LSTM能够在一定程度上避免梯度消失问题。

门控循环单元神经网络 GRU（更新门、重置门）

GRU网络主要有两个门，即更新门和重置门：

1. 更新门（Update Gate）：更新门帮助模型决定何时“忘记”以前的隐藏状态，何时使用新的候选隐藏状态。更新门的值越接近1，模型就越倾向于保留以前的隐藏状态；更新门的值越接近0，模型就越倾向于使用新的候选隐藏状态。更新门的设计帮助GRU捕捉和存储长序列中的依赖关系。
2. 重置门（Reset Gate）：重置门帮助模型决定在计算新的候选隐藏状态时，是否要“忽视”以前的隐藏状态。重置门的值越接近1，模型就越倾向于“考虑”以前的隐藏状态；重置门的值越接近0，模型就越倾向于“忽视”以前的隐藏状态。重置门的设计使得GRU可以在不同程度上利用以前的隐藏状态，有助于捕捉序列中的复杂模式。