机器学习——梯度消失，梯度爆炸

原因

梯度消失：1.深层网络，2.不合适的激活函数

梯度爆炸：1.深层网络，2.权值初始化太大

对于神经网络的更新，我们是采用反向传播（BP），用梯度下降策略对神经网络进行参数更新。

根据链式法则求导，越靠近输入层的隐藏层导数乘的次数就越多。因此，如果导数大于1，那么层数越多，梯度以指数级增长，容易发生梯度爆炸；如果导数小于1，那么层数越多，梯度以指数级减小，容易发生梯度消失。

不合适的激活函数

比如，sigmoid激活函数

对于sigmoid激活函数，他的导数最大值才0.25，而且只是在0附近的具有比较大的到数值，|z|越大，导数就越小。

解决方案

1.预训练+微调

对每一层进行预训练，输入是上一层的输出，逐层预训练。预训练完成之后，进行整个网络的训练。思想：先找到局部最优点，然后再寻找全局最优点。

2.梯度剪切，正则

梯度剪切，针对梯度爆炸，在反向传播的时候，梯度的值如果超过阈值，或者不在范围内，则强制他的值在范围内。

正则，对权重做L1，L2正则。比如L2正则化，在损失函数中起到的作用就是要让w尽可能小。

3.relu，leakyrelu等激活函数

Relu在大于0部分，梯度一直是1，因此不会梯度消失和爆炸

优点：

解决梯度消失和爆炸问题

计算方便，速度快

加快网络训练速度

缺点：

小于0的部分始终未0，导致一部分神经元失活

4.batch norm

batchnorm就是通过对每一层的输出规范为均值和方差一致的方法，消除了xxx带来的放大缩小的影响，进而解决梯度消失和爆炸的问题，或者可以理解为BN将输出从饱和区拉倒了非饱和区。
没理解，这是原文https://blog.csdn.net/qq_25737169/article/details/78847691

5.残差网络

上图就是残差网络的结构。通过在一个浅层网络基础上叠加 y=x的层（称identity mappings，恒等映射），可以让网络随深度增加而不退化。如图中曲线所示，将浅层的输入值直接连接到端部位置，这样就避免了在层层映射过程中，由于权重小于1而最终导致的梯度消失的现象。