AI作业12

1、长短期记忆网络 LSTM（输入门、遗忘门、输出门）

        长短期记忆网络——通常被称为LSTM，是一种特殊的RNN，能够学习长期依赖性。LSTM被明确设计用来避免长期依赖性问题。LSTM单元由单元，输入门，输出门和忘记门组成。该单元记住任意时间间隔内的值，并且三个门控制进出单元的信息流。

        输入门（Input Gate）：决定我们要在记忆细胞中存储多少来自输入的新信息。它由两部分组成，一个是sigmoid层，另一个是tanh层。sigmoid层输出0到1之间的值，表示我们要保存多少新信息，0表示“什么都不保存”，1表示“保存所有”，而tanh层则生成新的候选值，可能会被加入到状态中。

        遗忘门（Forget Gate）：决定我们要从记忆细胞中遗忘多少信息。它的作用是通过丢弃不再需要的信息，来保持细胞状态的有效性和简洁性。它是一个sigmoid层，输出0到1之间的值，0表示“完全忘记”，1表示“完全记住”。

        输出门（Output Gate）：根据当前输入和细胞状态，决定输出多少细胞的新状态。它由一个sigmoid层和一个tanh层组成。sigmoid层决定我们要输出哪部分信息，而tanh层则将细胞状态转换到-1到1之间，然后与sigmoid的输出相乘，最后输出我们想要的信息。

2、LSTM如何克服梯度消失

        LSTM把原本RNN的单元改造成一个叫做CEC的部件，这个部件保证了误差将以常数的形式在网络中流动 ，并在此基础上添加输入门和输出门使得模型变成非线性的，并可以调整不同时序的输出对模型后续动作的影响。

3、门控循环单元神经网络 GRU（更新门、重置门）

        门控循环神经网络（gated recurrent neural network）的提出，是为了更好地捕捉时间序列中时间步距离较大的依赖关系。它通过可以学习的门来控制信息的流动。其中，门控循环单元（gated recurrent unit，GRU）是一种常用的门控循环神经网络。

        更新门（Update Gate）：更新门帮助模型决定何时“忘记”以前的隐藏状态，何时使用新的候选隐藏状态。更新门的值越接近1，模型就越倾向于保留以前的隐藏状态；更新门的值越接近0，模型就越倾向于使用新的候选隐藏状态。更新门的设计帮助GRU捕捉和存储长序列中的依赖关系。

        重置门（Reset Gate）：重置门帮助模型决定在计算新的候选隐藏状态时，是否要“忽视”以前的隐藏状态。重置门的值越接近1，模型就越倾向于“考虑”以前的隐藏状态；重置门的值越接近0，模型就越倾向于“忽视”以前的隐藏状态。重置门的设计使得GRU可以在不同程度上利用以前的隐藏状态，有助于捕捉序列中的复杂模式。