和普通 RNN 相比,LSTM 可以通过所谓“门”的结构控制主线细胞状态中。colah[1]讲解十分全面,但是对于扫盲贴来说,大佬写的有些难,我要做的内容是把这些再品,再细品,然后聊一下我的看法,欢迎各位一起讨论。
和普通 RNN 不同之处就在于,LSTM 多了门控。门控的作用就在于处理遗忘哪些信息和记忆哪些信息。最关键的地方在于cell的状态和下图中最上面这条黑色粗线。分别是:
- 遗忘门,控制旧知识融入主线 cell,即控制哪些旧知识可以进入主线,哪些不能进入主线
- 输入门,控制新知识进入主线,即控制哪些新知识可以进入主线,哪些不能进入主线。
- 输出门,控制输出。即控制输出什么信息。
遗忘门:有选择的忘记信息
遗忘门,控制机旧知识融入主线,也就是决定让哪些信息继续通过这个 cell&