人工智能第十二次作业

1、长短期记忆网络 LSTM（输入门、遗忘门、输出门）

长短期记忆网络是RNN循环神经网络的一种改进方法，是为了解决一般的RNN（循环神经网络）存在的长期以来问题而专门设计出来的，在NLP领域具有很重要的作用。

如同在门控循环单元 GRU 中一样， 当前时间步的输入和前一个时间步的隐状态作为数据送入长短期记忆网络的门中。 它们由三个具有sigmoid激活函数的全连接层处理， 以计算输入门、遗忘门和输出门的值。 因此，这三个门的值都在 (0,1) 的范围内。

2、LSTM如何克服梯度消失

通过引入门结构，在从t-1到t过程中引入加法来进行信息更新。LSTM遗忘门值可以选择在[0,1]之间，可以选择接近1，让遗忘门饱和，此时远距离信息梯度不消失，梯度能够很好的在LSTM中传递，也可以选择接近0，此时模型是故意阻断梯度流，遗忘之前信息，说明上一时刻的信息对当前时刻没有影响。

3、门控循环单元神经网络 GRU（更新门、重置门）

GRU较LSTM结构更简单，计算速度更快。可以解决RNN中不能长期记忆和反向传播中的梯度等问题。

重置门决定了如何将新的输入信息与前面的记忆相结合。重置门用于控制忽略前一时刻的状态信息的程度，重置门的值越小说明忽略的越多。

更新门用于控制前一时刻的状态信息被带入到当前状态中的程度，更新门的值越大说明前一时刻的状态信息带入越多。