梯度消失

1､梯度消失产生的原因

我们先来看一个最简单的神经网络，如上图：
$$c=\sigma (\sigma (\sigma (x\cdot w_1+b_1)\cdot w_2+b_2)\cdot w_3+b_3)$$

接下来我们来看看b1的梯度，假设$A=x\cdot w_1+b_1,B=\sigma (A)\cdot w_2+b_2,D=\sigma (B)\cdot w_3+b_3$,那么$c=\sigma (D)$，则有：

$\frac{dc}{d{b}_1}=\frac{d\sigma (D)}{dD}\cdot \frac{dD}{d\sigma (B)}\cdot \frac{d\sigma (B)}{dB}\cdot \frac{dB}{d\sigma (A)}\cdot \frac{d\sigma (A)}{dA}\cdot \frac{dA}{d{b}_1}$

$={\sigma }_D^{{}^{\prime }}\cdot w_3\cdot {\sigma }_B^{{}^{\prime }}\cdot w_2\cdot {\sigma }_A^{{}^{\prime }}\cdot 1$

$={\sigma }_D^{{}^{\prime }}\cdot w_3\cdot {\sigma }_B^{{}^{\prime }}\cdot w_2\cdot {\sigma }_A^{{}^{\prime }}$

我们知道，卷积层都使用relu、leakrelu、elu等激活函数，但为什么不使用sigmoid作为卷积层的激活函数呢？我们假设$\sigma (x)$是sigmoid激活函数。
$$\sigma (x)=\frac{1}{1+e^{-x}}$$
sigmoid函数值区间是(0,1),导数值区间是$(-\infty ，\frac{1}{4})$,这里就不做证明了。

那现在，如果我们使用标准方法来初始化网络中的权重，那么会使用一个均值为0 标准差为1 的高斯分布。因此所有的权重通常会满足$|w_i|<1$。从而有$w_i{\sigma }^{{}^{\prime }}<\frac{1}{4}$。随着层数的增加，梯度越来越小，这就是消失的梯度出现的本质原因。

2､解决方案

上述说明梯度消失中有两个假设：
假设一：激活函数是sigmoid；
假设二：权重是均值为0,标准差为1的标准高斯分布；
那解决方案自然就是从这两个假设入手了。

2.1､relu、leakrelu、elu等激活函数

该解决方案是从假设一入手的，使用relu等激活函数，使得${\sigma }^{{}^{\prime }}>=1$。

relu激活函数：$relu(x)=max(x,0)$，即$relu(x)=\{\begin{array}{ll}0,& x<0\\ x,& x>=0\end{array}$

优点：

1. 解决了梯度消失、爆炸的问题 – 计算方便，计算速度快；
2. 加速了网络的训练。

缺点：

1. 由于负数部分恒为0，会导致一些神经元无法激活(可通过设置小学习率部分解决);
2. 输出不是以0为中心的。

leakRelu激活函数：$leakRelu(x)=max(0,x)+leak\ast min(0,x)$，
即$leakRelu(x)=\{\begin{array}{ll}leak\ast x,& x<0\\ x,& x>=0\end{array}$

leakRelu解决了relu的0区间带来的影响，leak系数一般选择0.01或者0.02，或者通过学习而来。根据leak的选择，又可以分为LeakyReLU、PReLU和RReLU：
LeakyReLU：leak值固定；
PReLU：leak值根据数据变化；
RReLU：在指定范围内根据数据变化。

elu激活函数：$elu(x)=\{\begin{array}{ll}a\cdot (e^x-1),& x<0\\ x,& x>=0\end{array}$

elu也是为了解决relu的0区间带来的影响。

2.2､预训练+微调

该解决方案是从假设二入手的，使用预训练模型，预训练模型的权重已经非常接近真实权重了，然后再微调，从而不用担心梯度消失。

2.3､LSTM

LSTM全称是长短期记忆网络（long-short term memory networks），是不那么容易发生梯度消失的，主要原因在于LSTM内部复杂的“门”(gates)，LSTM通过它内部的“门”可以接下来更新的时候“记住”前几次训练的”残留记忆“，因此，经常用于生成文本中。