RNN Vanishing Gradient

RNN Vanishing Gradient

RNN Forward Propagation：

$$\begin{gathered} {\mathbf{h}}^{(t)}=\sigma ({\mathbf{W}}_h{\mathbf{h}}^{(t-1)}+{\mathbf{W}}_x{\mathbf{x}}^{(t)}+{\mathbf{b}}_1) \\ {\hat{\mathbf{y}}}^{(t)}=softmax({\mathbf{W}}_s{\mathbf{h}}^{(t)}+{\mathbf{b}}_2)) \end{gathered}$$
其中，输入为d维向量${\mathbf{x}}^{(t)}\in {\mathbb{R}}^d$，隐层是$D_h$维向量${\mathbf{h}}^{(t)}\in {\mathbb{R}}^{D_h}$，${\hat{\mathbf{y}}}^{(t)}\in {\mathbb{R}}^{|V|}$代表对每个单词预测的概率，参数：${\mathbf{W}}_x\in {\mathbb{R}}^{D_h\times d}$，${\mathbf{W}}_h\in {\mathbb{R}}^{D_h\times D_h}$，${\mathbf{W}}_s\in {\mathbb{R}}^{|V|\times D_h}$，$|V|$代表vocabulary大小，$\sigma$是sigmoid函数。

在时刻t处的损失(loss)为互熵损失(cross-entropy)形式，${\mathbf{y}}^{(t)}\in {\mathbb{R}}^{|V|}$代表真实概率分布的向量，一般为one-hot形式，即在正确单词位置概率值为1，其他位置概率值为0：
$$J^{(t)}(\theta )=-\sum _{w=1}^{|V|}{y}_w^{(t)}\log {\hat{y}}_w^{(t)}$$
整个语料库(corpus)上的损失(loss)为，其中语料库大小为T：
$$J=\frac{1}{T}\sum _{t=1}^T{J}^{(t)}(\theta )=-\frac{1}{T}\sum _{t=1}^T\sum _{w=1}^{|V|}{y}_w^{(t)}\log {\hat{y}}_w^{(t)}$$

RNN Backward Propagation

模型的参数总共有三个，这里以求解${\mathbf{W}}_h\in {\mathbb{R}}^{D_h\times D_h}$的梯度为例，根据multivariable chain rule，损失对参数的梯度为：
$$\frac{\partial J}{\partial {\mathbf{W}}_h}=\sum _{t=1}^T\frac{\partial J^{(t)}}{\partial {\mathbf{W}}_h}=\sum _{t=1}^T\sum _{k=1}^t\frac{\partial J^{(t)}}{\partial {\hat{\mathbf{y}}}^{(t)}}\frac{\partial {\hat{\mathbf{y}}}^{(t)}}{\partial {\mathbf{h}}^{(t)}}\frac{\partial {\mathbf{h}}^{(t)}}{\partial {\mathbf{h}}^{(k)}}\frac{\partial {\mathbf{h}}^{(k)}}{\partial {\mathbf{W}}_h}$$

其中$\frac{\partial {\mathbf{h}}^{(t)}}{\partial {\mathbf{h}}^{(k)}}$为，

$$\frac{\partial {\mathbf{h}}^{(t)}}{\partial {\mathbf{h}}^{(k)}}=\prod _{j=k+1}^t\frac{\partial {\mathbf{h}}^{(j)}}{\partial {\mathbf{h}}^{(j-1)}}=\prod _{j=k+1}^t{\mathbf{W}}_{h}diag({\sigma }^{\prime }({\mathbf{h}}^{(j-1)}))$$

带回得：
$$\begin{array}{rl}\frac{\partial J}{\partial {\mathbf{W}}_h}& =\sum _{t=1}^T\frac{\partial J^{(t)}}{\partial {\mathbf{W}}_h}\\ & =\sum _{t=1}^T\sum _{k=1}^t\frac{\partial J^{(t)}}{\partial {\hat{\mathbf{y}}}^{(t)}}\frac{\partial {\hat{\mathbf{y}}}^{(t)}}{\partial {\mathbf{h}}^{(t)}}\prod _{j=k+1}^t\frac{\partial {\mathbf{h}}^{(j)}}{\partial {\mathbf{h}}^{(j-1)}}\frac{\partial {\mathbf{h}}^{(k)}}{\partial {\mathbf{W}}_h}\\ & =\sum _{t=1}^T\sum _{k=1}^t\frac{\partial J^{(t)}}{\partial {\hat{\mathbf{y}}}^{(t)}}\frac{\partial {\hat{\mathbf{y}}}^{(t)}}{\partial {\mathbf{h}}^{(t)}}\prod _{j=k+1}^t{\mathbf{W}}_{h}diag\left({\sigma }^{\prime }({\mathbf{h}}^{(j-1)})\right)\frac{\partial {\mathbf{h}}^{(k)}}{\partial {\mathbf{W}}_h}\\ & =\sum _{t=1}^T\sum _{k=1}^t\frac{\partial J^{(t)}}{\partial {\hat{\mathbf{y}}}^{(t)}}\frac{\partial {\hat{\mathbf{y}}}^{(t)}}{\partial {\mathbf{h}}^{(t)}}{\mathbf{W}}_h^{t-k}\prod _{j=k+1}^{t}diag\left({\sigma }^{\prime }({\mathbf{h}}^{(j-1)})\right)\frac{\partial {\mathbf{h}}^{(k)}}{\partial {\mathbf{W}}_h}\end{array}$$
可见有一个指数项${\mathbf{W}}_h^{t-k}$，假如${\mathbf{W}}_h$比较小，随着t与k之间距离变长(即t-k变大)，偏导数会指数的变小(vanishingly small)。实际上和矩阵的特征值有关，我们假设${\mathbf{W}}_h$特征值分解为${\mathbf{W}}_h=A\Lambda A^{-1}$，其中对角矩阵$\Lambda$内特征值按照绝对值大小排列($|{\lambda }_1|\ge |{\lambda }_2|...|{\lambda }_{{}_n}|$)，则${\mathbf{W}}_h^{t-k}=(A\Lambda A^{-1})...(A\Lambda A^{-1})=A{\Lambda }^{t-k}{A}^{-1}={\lambda }_1^{t-k}{\mathbf{a}}_1{\mathbf{a}}_1^T+{\lambda }_2^{t-k}{\mathbf{a}}_2{\mathbf{a}}_2^T+...+{\lambda }_1^{n-k}{\mathbf{a}}_n{\mathbf{a}}_n^T$，这样如果$|{\lambda }_1|\le 1$，那么在t-k很大的情况下，${\mathbf{W}}_h^{t-k}$近乎于0。

令${\beta }_W$和${\beta }_h$分别表示两个矩阵范式的上界(upper bound)，即对于任意$\mathbf{W}$和$diag({\sigma }^{\prime }(\mathbf{h}))$，都满足$\Vert \mathbf{W}\Vert \le {\beta }_W$，$\Vert diag({\sigma }^{\prime }(\mathbf{h}))\Vert \le {\beta }_h$，对于矩阵的L2 范式，
$$\Vert \frac{\partial {\mathbf{h}}^{(j)}}{\partial {\mathbf{h}}^{(j-1)}}\Vert =\Vert {\mathbf{W}}_{h}diag({\sigma }^{\prime }({\mathbf{h}}^{(t-1)}))\Vert \le \Vert {\mathbf{W}}_h\Vert \Vert diag({\sigma }^{\prime }({\mathbf{h}}^{(t-1)}))\Vert \le {\beta }_W{\beta }_h$$
所以
$$\Vert \frac{\partial {\mathbf{h}}^{(t)}}{\partial {\mathbf{h}}^{(k)}}\Vert =\prod _{j=k+1}^t\Vert \frac{\partial {\mathbf{h}}^{(j)}}{\partial {\mathbf{h}}^{(j-1)}}\Vert \le {({\beta }_W{\beta }_h)}^{(t-k)}$$
这样由于${({\beta }_W{\beta }_h)}^{(t-k)}$这一项是指数形式，所以在t-k比较大的情况下，很容易变得非常大或者非常小。在RNN中我们使用的是sigmoid非线性函数，$\Vert diag({\sigma }^{\prime }(\mathbf{h}))\Vert$的一个上界是1，这样${({\beta }_W{\beta }_h)}^{(t-k)}$在t-k较大时会vanishingly small，也就是梯度消失问题。