机器学习面试必知：梯度消失和梯度爆炸

在深度前馈网络中假设有数据集$\left\{(x^{(1)},y^{(1)}),...,(x^{(m)},y^{(m)})\right\}$

构建代价函数，其中$s_l$表示第$l$层的节点数 $$J(W,b)=\frac{1}{m}\sum _{i=1}^{m}J(W,b;x^{(i)},y^{(i)})+\frac{\lambda }{2}\sum _{l=1}^N\sum _{i=1}^{s_{l-1}}\sum _{j=1}^{s_l}(W_{ji}^{(l)}{)}^2$$
在前向神经网络中，假设第$l$层的参数为$W^{(l)}$和$b^{(l)}$，每一层的线性变换为$z^{(l)}=W^{(l)}{x}^{(l)}+b^{(l)}$，非线性变换后输出为$a^{(l)}=f(z^{(l)})$,这也就是下一层的输入即$x^{(l+1)}=a^{(l)}$。我们利用批量梯度下降法来更新参数，我们先计算代价函数对隐含层的偏导$$\frac{\partial J(W,b)}{\partial z_j^{(l)}}=\sum _{k=1}^{s_{l+1}}\frac{\partial J(W,b)}{\partial z_k^{(l+1)}}\frac{\partial z_k^{(l+1)}}{\partial z_j^{(l)}}$$ $$\frac{\partial z_k^{(l+1)}}{\partial z_j^{(l)}}=\frac{\partial ({\sum }_{m=1}^{s_l}{W}_{km}^{(l+1)}{x}_m^{(l+1)}+b_k^{(l+1)})}{\partial z_j^{(l)}}=W_{kj}^{(l+1)}{f}^{\prime }(z_j^{(l)})$$然后我们假设损失函数在第$l$层第$i$个节点产生的残差量，进而可以用这个残差量来表示上面的公式$${\delta }_j^{(l)}=\frac{\partial J(W,b)}{\partial z_j^{(l)}}$$ $${\delta }_j^{(l)}=\sum _{k=1}^{s_{l+1}}{\delta }_k^{(l+1)}{W}_{kj}^{(l+1)}{f}^{\prime }(z_j^{(l)})$$所以梯度可以如下表示$$\frac{\partial J(W,b)}{\partial W_{ji}^{(l)}}=\frac{\partial J(W,b)}{\partial z_j^{(l)}}\frac{\partial z_j^{(l)}}{\partial W_{ji}^{(l)}}={\delta }_j^{(l)}{a}_i^{(l-1)}$$ $$\frac{\partial J(W,b)}{\partial b_j^{(l)}}=\frac{\partial J(W,b)}{\partial z_j^{(l)}}\frac{\partial z_j^{(l)}}{\partial b_j^{(l)}}={\delta }_j^{(l)}$$我们可以看到梯度信息与${\delta }_j^{(l)}$有关，我们将这个继续展开可以得到$${\delta }_j^{(l)}=\sum _{k=1}^{s_{l+1}}{\delta }_k^{(l+1)}{W}_{kj}^{(l+1)}{f}^{\prime }(z_j^{(l)})=\sum _{k=1}^{s_{l+1}}\left(\sum _{i=1}^{s_{l+2}}{\delta }_i^{(l+2)}{W}_{ik}^{(l+2)}{f}^{\prime }(z_k^{(l+1)})\right)W_{kj}^{(l+1)}{f}^{\prime }(z_j^{(l)})$$可以想象得到如果继续展开的话将会涉及到非常多的参数和导数连乘，这时误差非常容易产生爆炸或者消失。
CNN和RNN最常见的两种深度学习中方法，其中CNN属于深度前馈网络。那么RNN中是否也有梯度消失的问题。RNN的输出如下$$c_t=U{x}_t+W{h}_{t-1}+b$$ h t = f ( c t ) = f ( U x t + W h t − 1 + b ) = f ( U x t + W { f ( U x t − 1 + W h t − 2 + b ) } + b ) h_{t}=f(c_{t})=f(Ux_{t}+Wh_{t-1}+b)=f(Ux_{t}+W\left\{ f(Ux_{t-1}+Wh_{t-2}+b)\right\}+b) ht​=f(ct​)=f(Uxt​+Wht−1​+b)=f(Uxt​+W{f(Uxt−1​+Wht−2​+b)}+b) $$y_t=g(V{h}_t+c)$$
用了BPTT方法，梯度计算如下：$$\frac{\partial c_t}{\partial c_{t-1}}=\frac{\partial c_t}{\partial h_{t-1}}\frac{\partial h_{t-1}}{\partial c_{t-1}}=W\cdot diag[f^{\prime }(c_{t-1})]$$$$\frac{\partial c_t}{\partial c_1}=\frac{\partial c_t}{\partial c_{t-1}}\cdot \frac{\partial c_{t-1}}{\partial c_{t-2}}\cdot \cdot \cdot \frac{\partial c_2}{\partial c_1}$$可以看到继续展开的话也将会涉及到非常多的W和导数连乘形式，这时误差非常容易产生爆炸或者消失