1、LSTM简介
长短期记忆神经网络,是基于RNN改进的一种可以处理有序数据的循环神经网络,由于它设计的输入门、输出门、遗忘门三个门结构很好的解决了RNN中存在梯度消失的问题,可以说是RNN的改进版,后续还有GRU网络,GRU是针对LSMT的一种改进。
2、LSTM的结构
- 标准的RNN中的单层神经网络
- 包含重复模块的四层神经网络
与RNN相比发现每一个时间步都是非常的复杂,不仅仅是一个激活函数而已。
接下来将中间这个部分拆解开了,庖丁解牛。
细胞状态是LSTM中非常重要的一个单元状态,它保存了之前学过的信息,类似于传送带一样,信息在这个上面不容易丢失。