梯度消失 & 梯度爆炸

神经网络(DNN)其实就是人工神经网络(ANN)的多层实现,一个ANN有2个或者2个以上的隐藏层,则被称为深度神经网络(DNN),下面的内容我们会针对神经网络反向微分过程中产生的梯度爆炸和梯度消失,以及当前有效的缓和方法做一些具体的论述;

**当然有兴趣的同学建议自己去推导神经网络反向传播BP算法的推导 **

1.神经网络

2.梯度消失 & 梯度爆炸

3.缓和梯度消失 & 爆炸

1.神经网络

神经网络其实就是一个多层的感知器,我们下面来看下其结构:(当然了解这一部分的可以直接跳到2.梯度消失 & 梯度爆炸)(激活函数是sigmod)

神经网络主要分为3种网络层

• 输入层:就是数据输入神经网络的入口,比如MNIST是2828的像素点集,则输入层就需要有2828个输入神经元 + 一个代表偏移量的输入神经元(如图:左侧常量的神经元)
• 隐藏层:就是神经网络的中间层,可能有一点抽象,举个例子:一个人脸识别系统,假设有3个隐藏层
  --------- 隐藏层1: 识别眼睛和眉毛的特征 & 隐藏层2: 识别嘴巴和耳朵的特征 & 隐藏层3: 识别肤色即全部人脸
  看的出来隐藏层就是从低到高逐层抽象的网络层
• 输出层:就是模型预测值的输出口,这里我们使用常用的softmax,用于分类MNIST的图像类别

那么,可以看出来:

1. 从下到上(输出层 -> 隐藏层 -> 输出层),就是训练模型的过程: 小批量/全量数据逐步调节权重,基于loss函数寻求最优loss的过程
2. 自上而下,进行反向微分调参,下面我们会基于此来进行梯度爆炸和消失的问题剖析

到这里我们对神经网络有了一个初步的认识,下面来进入重点 梯度消失 & 梯度爆炸

2.梯度消失 & 梯度爆炸

正如之前所说,反向传播算法(即BP算法)是从输出层反向传到输入层,逐层传递误差梯度,进而进行权重的更新;
** 我们应该知道无论是机器学习还是深度学习(DNN)都是在一次次训练中根据前一次的误差进行梯度下降更行权重**
这时候随着网络层的增加,我们会暴露两个问题: 梯度消失 和 梯度爆炸

2.1 首先来看softmax以及其导函数:

$$y(sigmod)=(1+e^{-t}{)}^{-1}$$
$$t=wx$$
下面我们来看其函数图像:

接着我们看其导函数:

从上面两个图中可以看到:

1. softmax在 y = 1 and y = 0 时会接近饱和
2. t = 0 时,y = 0.5,那么我们可以认为这是逻辑回归的决策边界
3. 接着看其导函数,是一个钟形的曲线,且最大值是1/4,注意这一点很重要;之后的梯度爆炸 & 梯度消失会用到这个特点

2.2 梯度爆炸 & 梯度消失:

在分析梯度爆炸和梯度消失之前我们需要看下神经网络的梯度反向传播:
同机器学习调节$\theta$一样,我们是根据误差梯度来进行梯度下降,调节权重:
$${\theta }^{next}=\theta -\eta \frac{\partial loss}{\partial \theta }$$

看上面的图例----包含3个隐藏层,我们假设每一层都使用softmax来做为激活函数:
接下来我们来看每一个网络层的梯度下降:
我们这里这样定义,方便之后的计算,output的输出是f(o),隐藏层3的输出是f(3),隐藏层2的输出是f(2)…依次类推
softmax函数表示:softmax=f(t); t = $wx$

1. 首先来看隐藏层3的权重更新,这是最接近optputs的隐藏层,所以是直接可以求出来的
   $$\frac{\partial loss}{\partial {\theta }_3}=\frac{\partial loss}{\partial f(3)}\frac{\partial f(3)}{\partial t(3)}\frac{\partial t(3)}{\partial {\theta }_3}=\frac{\partial loss}{\partial f(3)}\sigma (3)X_3=\zeta \sigma (3)X_3$$

2. 然后看隐藏层2的误差梯度:
   $$\frac{\partial loss}{\partial {\theta }_2}=\frac{\partial loss}{\partial f(3)}\frac{\partial f(3)}{\partial t(3)}\frac{\partial t(3)}{\partial f(2)}\frac{\partial f(2)}{\partial t(2)}\frac{\partial t(2)}{\partial {\theta }_2}$$
   上面函数只是一个公式的同等转换,分子分母前后交叉消除即可还原,继续往下看:
   需要注意:f(3)是output的输入神经元,而f(2)又是f(3)的输入神经元
   $\frac{\partial loss}{\partial f(3)}是成本函数对输入神经元的偏导,这是一个定值,所以我们这里使用\zeta 表示$
   $\frac{\partial f(3)}{\partial t(2)}$是激活函数softmax的偏导数所以我们用$\sigma (3)$表示
   $\frac{\partial t(3)}{\partial f(3)}$是$\omega$$x$对$x$求偏导,结果是$\omega$
   所以:
   $$\frac{\partial loss}{\partial {\theta }_2}=\zeta \sigma (3){\omega }_3\sigma (2)X_2$$

3. 同理隐藏层1的误差梯度:
   $$\frac{\partial loss}{\partial {\theta }_1}=\frac{\partial loss}{\partial f(3)}\frac{\partial f(3)}{\partial t(2)}\frac{\partial t(2)}{\partial f(1)}\frac{\partial f(1)}{\partial t(1)}\frac{\partial t(1)}{\partial {\theta }_1}$$
   $$\frac{\partial loss}{\partial {\theta }_1}=\zeta \sigma (3){\omega }_3\sigma (2){\omega }_2\sigma (1)X_1$$

这样来看自上而下反向传播误差梯度是链式相乘的,即$\sigma \omega$
由sigmod的导函数可知最大值位1/4 所以:

• $\omega >4梯度会自上而下越来越大,有梯度爆炸的隐患$
• $\omega <4梯度会自上而下越来越小,有梯度消失的隐患$

3.缓和梯度消失 & 爆炸

3.1: 权重$\omega$初始化
Xavier初始化和He初始化;

3.2: 选择合适的激活函数

使用ReLU代替softmax

• ReLU的好处是不会稀释正值,而且可以提升训练速度
• 缺点:在小于0时候,仅仅输出0,是让一些神经元dying
  可以使用其变种:RReLU & PReLU & ELU

3.3: 批量归一化
在2015年的论文中,Sergey loffe和Christian Szegedy提出了一个批量归一化,用他来解决梯度消失和爆炸的问题:
即在每一层激活函数之前在模型中加一个操作:简单零中心化和归一化输入;
之后再通过每层的两个新参数(一个为了缩放,一个为了偏移)

3.4: 复杂的优化器

• Momentum优化
• Nesterrov优化
• AdaGrad优化
• RMSProp优化
• Adam优化

缓和梯度爆炸和梯度消失的原理之后会有更新博文,感谢阅读