梯度消失(Gradient Vanishing)

1.引言

在之前的文章中我们提到过反向传播：https://blog.dotcpp.com/a/89149 ，在反向传播中，参数是根据求该参数和损失函数的梯度来更新的，也就是沿着梯度下降的方向来更新模型参数。

2.概念理解

那什么叫梯度消失呢？
梯度消失其实就是梯度已经差不多趋近于0了，参数已经更新不动了，从而导致收敛速度慢，训练时间无限延长。

3.原因

下面我们通过公式推导寻找梯度消失的原因
假设我们的模型参数是$w$，而更新$w$的方法是：

$w=w-\epsilon \frac{\partial L}{\partial w}$

$\epsilon$为学习率，$L$为损失函数。

假设我们的网络具有8层，设每一层的输入输出参数分别为：$I_1,O_1,W_1,...,I_8,O_8,W_8$

接下来，具体求解过程：

我们把数据分为两部分:

$w=w1w2\ast ........\ast w8$

$O=O_8\ast (1-O_8)\ast .........\ast O_1\ast (1-O_1)$

也就是最终的梯度值为$wo$ ,梯度消失也就意味着$w\ast o$ 是一个很小很小的数.

可以o必然是一个很小的数，为什么.

$O_8{O}_7{O}_6{O}_5{O}_4{O}_3{O}_2{O}_1$是sigmode的输出,我们以$O_8\ast (1-O_8)$为列，进行分析:

$O_8$的输出范围在[0,1]之间，如果$I_8>0$的，$O_8$接近1，但是$1-O_8$肯定很小了，$O_8$和$1-O_8$就是对立的.

$O_8\ast (1-O_8)$ 很小，更何况这个很小的数还要和 $O_7\ast (1-O_7)，O_6\ast (1-O_6)...O_1\ast (1-O_1)$ 这些小数相乘.

所以也许靠近输出层的那几层梯度下降也许比较ok，但是靠近输入层的梯度下降肯定没这么快.

解决的方案就是用$Relu$来替代$sigmod$，为何因为这样$O_7{O}_8{O}_1...$就会变为常数了（$Relu$输出对输入求导后为常数）。肯定会有比较好的梯度下沉 。