LSTM如何解决RNN带来的梯度消失问题

本篇文章参考于 RNN梯度消失和爆炸的原因、Towser关于LSTM如何来避免梯度弥散和梯度爆炸？的问题解答、Why LSTMs Stop Your Gradients From Vanishing: A View from the Backwards Pass。

看本篇文章之前，建议自行学习RNN和LSTM的前向和反向传播过程，学习教程可参考刘建平老师博客循环神经网络(RNN)模型与前向反向传播算法、LSTM模型与前向反向传播算法。

具体了解LSTM如何解决RNN所带来的梯度消失问题之前，我们需要明白为什么RNN会带来梯度消失问题。

1. RNN梯度消失原因

如上图所示，为RNN模型结构，前向传播过程包括，

• 隐藏状态：$h^{(t)}=\sigma (z^{(t)})=\sigma (U{x}^{(t)}+W{h}^{(t-1)}+b)$，此处激活函数一般为$tanh$。
• 模型输出：$o^{(t)}=V{h}^{(t)}+c$
• 预测输出：${\hat{y}}^{(t)}=\sigma (o^{(t)})$，此处激活函数一般为softmax。
• 模型损失：$L={\sum }_{t=1}^T{L}^{(t)}$

RNN反向传播过程中，需要计算$U,V,W$等参数的梯度，以$W$的梯度表达式为例，
$$\frac{\partial L}{\partial W}=\sum _{t=1}^T\frac{\partial L}{\partial y^{(T)}}\frac{\partial y^{(T)}}{\partial o^{(T)}}\frac{\partial o^{(T)}}{\partial h^{(T)}}\frac{\partial h^{(T)}}{\partial h^{(t)}}\frac{\partial h^{(t)}}{\partial W}$$

现在需要重点计算$\frac{\partial h^{(T)}}{\partial h^{(t)}}$部分，展开得到，
∂ h ( T ) ∂ h ( t ) = ∂ h ( T ) ∂ h ( T − 1 ) ∂ h ( T − 1 ) ∂ h ( T − 2 ) . . . ∂ h ( t + 1 ) ∂ h ( t ) = ∏ k = t + 1 T ∂ h ( k ) ∂ h ( k − 1 ) = ∏ k = t + 1 T t a n h ′ ( z ( k ) ) W \frac{\partial h^{(T)}}{\partial h^{(t)}} = \frac{\partial h^{(T)}}{\partial h^{(T-1)}} \frac{\partial h^{(T - 1)}}{\partial h^{(T-2)}} ...\frac{\partial h^{(t+1)}}{\partial h^{(t)}} = \prod_{k=t + 1}^{T} \frac{\partial h^{(k)}}{\partial h^{(k - 1)}} = \prod_{k=t+1}^{T} tanh^{'}(z^{(k)}) W ∂h(t)∂h(T)​=∂h(T−1)∂h(T)​