耳熟人详的LSTM的大致理解
运用领域:
1、语音识别
2、图像描述
3、聊天机器人
LSTM理解:
忘记门-输入门-输出门
大致过程:
LSTM的反向传播具体过程(BPTT)
LSTM的变种
(1)、
Gers & Schmidhuber (2000)–让 门层 也会接受细胞状态的输入
(2)、
Gated Recurrent Unit (GRU)–将忘记门和输入门合成了一个单一的 更新门。同样还混合了细胞状态和隐藏状态,和其他一些改动
LSTM很好的文章:https://www.jianshu.com/p/9dc9f41f0b29