详解机器学习中的梯度消失、爆炸原因及其解决方法

详解机器学习中的梯度消失、爆炸原因及其解决方法

 https://blog.csdn.net/qq_25737169/article/details/78847691

前言

本文主要深入介绍深度学习中的梯度消失和梯度爆炸的问题以及解决方案。本文分为三部分，第一部分主要直观的介绍深度学习中为什么使用梯度更新，第二部分主要介绍深度学习中梯度消失及爆炸的原因，第三部分对提出梯度消失及爆炸的解决方案。有基础的同鞋可以跳着阅读。
其中，梯度消失爆炸的解决方案主要包括以下几个部分。

- 预训练加微调
- 梯度剪切、权重正则（针对梯度爆炸）
- 使用不同的激活函数
- 使用batchnorm
- 使用残差结构
- 使用LSTM网络

• 1
• 2
• 3
• 4
• 5
• 6

第一部分：为什么要使用梯度更新规则

---

在介绍梯度消失以及爆炸之前，先简单说一说梯度消失的根源—–深度神经网络和反向传播。目前深度学习方法中，深度神经网络的发展造就了我们可以构建更深层的网络完成更复杂的任务，深层网络比如深度卷积网络，LSTM等等，而且最终结果表明，在处理复杂任务上，深度网络比浅层的网络具有更好的效果。但是，目前优化神经网络的方法都是基于反向传播的思想，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。这样做是有一定原因的，首先，深层网络由许多非线性层堆叠而来，每一层非线性层都可以视为是一个非线性函数 f(x)f(x)f(x)(非线性来自于非线性激活函数），因此整个深度网络可以视为是一个复合的非线性多元函数
F(x)=fn(...f3(f2(f1(x)∗θ1+b)∗θ2+b)...)F(x) = {f_n}(...{f_3}({f_2}({f_1}(x)*{\theta _1} + b)*{\theta _2} + b)...)F(x)=fn​(...f3​(f2​(f1​(x)∗θ1​+b)∗θ2​+b)...)我们最终的目的是希望这个多元函数可以很好的完成输入到输出之间的映射，假设不同的输入，输出的最优解是g(x)g(x)g(x) ，那么，优化深度网络就是为了寻找到合适的权值，满足Loss=L(g(x),F(x))Loss = L(g(x),F(x))Loss=L(g(x),F(x))取得极小值点，比如最简单的损失函数
Loss=∣∣g(x)−f(x)∣∣22Loss = ||g(x)-f(x)||^2_2Loss=∣∣g(x)−f(x)∣∣2

转载于:https://www.cnblogs.com/yumoye/p/10617501.html