参考博文: 直觉理解LSTM和GRU
第一部分: LSTM
LSTM的结构
LSTM的原理
LSTM单元之间传递两个信息, c和h
C
t
−
1
C_{t-1}
Ct−1 到
C
t
C_t
Ct, 先遗忘一部分信息, 然后再加上新学到的一部分信息
f
t
f_t
ft控制哪些需要忘掉,
C
~
t
\tilde{C}_t
C~t用于生成新信息,
i
t
i_t
it控制哪些新信息需要保留,
C
t
C_t
Ct就完成了
但是
h
t
h_t
ht还没有完成,
h
t
h_t
ht还需要经过如下处理用于输出:
o
t
o_t
ot控制了新信息中哪些用于此单元输出
LSTM的优势
- 相比RNN, LSTM最大的优势就是可以缓解梯度消失问题. (RNN在反向传播的时候求底层的参数梯度会涉及到梯度连乘, 出现梯度消失或者梯度爆炸)
- 数学原理, 参考知乎: 为什么相比于RNN,LSTM在梯度消失上表现更好?-- 刘通的回答)
对于RNN, 如果要计算 h 0 h_0 h0的导数, 涉及同一个W的连乘(正向传播的时候是矩阵乘法), 这很容易引起梯度消失或者梯度爆炸.(W>1 或 W<1)
而对于LSTM, 反向传播的时候 c 0 c_0 c0的导数只涉及 f t f_t ft的连乘(对应元素相乘), 并且每个cell的 f t f_t ft都不相同(在0-1之间), 这更不容易引起梯度消失. - 此外, LSTM通过引入更多的参数, 可以更加精细地预测时间序列变量.
第二部分: GRU
GRU的结构
在GRU里面,不再有C和h两部分,而是只用了h
GRU的原理
与LSTM类似, GRU的学习也是先遗忘一部分旧信息, 再添加一部分新信息.
而不同之处在于, 在LSTM中,忘记和添加的比例是学习来的,两者没什么相关;而在GRU中,这个比例是固定的:忘记了多少比例,那么新的信息就添加多少比例。这个由 (1-)来进行控制
z
t
z_t
zt同时控制遗忘旧信息和记住新信息的比例
新信息是由
x
t
x_t
xt和一部分
h
t
h_t
ht生成的, 这"一部分"由
r
t
r_t
rt控制
GRU的优势
相比LSTM,使用GRU能够达到相当的效果,并且相比之下更容易进行训练,能够很大程度上提高训练效率,因此很多时候会更倾向于使用GRU, 尤其是训练较深的网络时.