本文介绍了RNN及其长期依赖问题，并详细解析了LSTM如何通过门控机制解决这一问题。LSTM拥有遗忘门、输入门和输出门，能选择性地保留历史记忆、学习新知识，从而有效地处理时序数据。
1. RNN
记住所有信息。
（1）定义与特性
RNN之所以在时序数据上有着优异的表现是因为RNN在t时间片时会将t-1时间片的隐节点作为当前时间片的输入。
（2）问题
- 长期依赖问题：随着数据时间片的增加，RNN丧失了学习连接如此远的信息的能力。
- 梯度消失：产生梯度消失和梯度爆炸是由于RNN的权值矩阵循环相乘导致的。
LSTM之所以能够解决RNN的长期依赖问题，是因为LSTM引入了门（gate）机制用于控制特征的流通和损失。
2. LSTM
（1）定义与特性
设置记忆细胞，选择性的记忆。
- 三个门：遗忘门、输入门、输出门
- 两个状态：C(t), h(t)
（2）前向传播
选择性的保留历史记忆，吸收新的知识
- 遗忘门 f t f_t ft：
① f t = σ ( W x f x t + W h f h t − 1 + b f ) ; f_t=\sigma(W_{xf}x_t+W_{hf}h_{t-1}+b_f); ft=σ(Wxfxt+Whfht−1+bf);
②理解： f t f_t ft通过sigmoid函数选择记忆（遗忘）历史信息 C t − 1 C_{t-1} Ct−1。
可以想象，脑容量是有限的。让输入新的信息时就需要选择性的遗忘一些作用不强的历史记忆。
- 输入门 i t i_t it：
① i t = σ ( W x i x t + W h i h t − 1 + b i ) ; i_t=\sigma(W_{xi}x_t+W_{hi}h_{t-1}+b_i); it=σ(Wxixt+Whi
最低0.47元/天 解锁文章
1万+
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
