- 说明:学习笔记,内容来自七月在线视频-作者加号
一、带记忆神经网络
文本生成,光直接feed不行,我们希望我们的分类器能够记得上下文前后关系,RNN的目的就是让有sequential关系的信息得到考虑。sequential关系是信息在时间上的前后关系。
1.RNN
2.LSTM-加强版RNN
- 说明
3.模拟信息在LSTM的变化
①忘记门
决定了我们应该忘记哪些信息
②记忆门
哪些该记住
③更新门
把老的cell state更新为新的cell state
④输出门
由记忆来决定输出什么门