深度学习总结(六)——梯度弥散、爆炸和过拟合

最新推荐文章于 2024-08-18 23:25:22 发布
最新推荐文章于 2024-08-18 23:25:22 发布
阅读量9.7k 收藏 21
点赞数 4
分类专栏： 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/manong_wxd/article/details/78735599
版权
本文探讨了深度学习中的梯度弥散和爆炸现象，以及如何通过BN层、LSTM和梯度裁剪来缓解这些问题。同时，介绍了防止过拟合的策略，如数据增强、Dropout和Weight decay。
摘要由CSDN通过智能技术生成

这里写图片描述

一、梯度弥散和爆炸

1. 梯度弥散的解释

梯度弥散的问题很大程度上是来源于激活函数的“饱和”。因为在后向传播的过程中仍然需要计算激活函数的导数，所以一旦卷积核的输出落入函数的饱和区，它的梯度将变得非常小。

使用反向传播算法传播梯度的时候，随着传播深度的增加，梯度的幅度会急剧减小，会导致浅层神经元的权重更新非常缓慢，不能有效学习。这样一来，深层模型也就变成了前几层相对固定，只能改变最后几层的浅层模型。

梯度爆炸的情况正好相反。

2. 防止梯度弥散的方法

BN。加入BN层之前，反向传播的梯度为：

∂l∂hk=∂l∂hl∏l

最低0.47元/天 解锁文章
manong_wxd
关注
专栏目录
深度学习最全面试题总结（一）
专注大数据与人工智能技术分享，欢迎私信加群互相学习！
05-04 2万+
导读：本系列深度学习面试题系列总结，资料集合包含机器学习、深度学习等各系列常见问题，可配合下列资料一起学习，内容参考Github及网络资源，仅供个人学习。侵权联系删除！
学习笔记：深度学习（1）——基础概念和激活函数
Morganfs的博客
04-10 1万+
学习时间：2022.04.08~2022.04.09 主要梳理深度学习的最基础的一些概念，以及14个激活函数。
梯度弥散与梯度爆炸
weixin_30898109的博客
09-05 140
问题描述 先来看看问题描述。 当我们使用sigmoid funciton 作为激活函数时，随着神经网络hidden layer层数的增加，训练误差反而加大了，如上图所示。 下面以2层隐藏层神经网络为例，进行说明。 结点中的柱状图表示每个神经元参数的更新速率(梯度)大小，有图中可以看出，layer2整体速度都要大于layer1. 我们又取每层layer中参数向量的长度来粗略的估...
梯度弥散
Losteng的博客
03-30 2万+
在深度神经网络中经常听说梯度弥散，下面就介绍一下，并搜集了当时的科学家是怎样避免的 梯度弥散问题 梯度下降法（以及相关的L-BFGS算法等）在使用随机初始化权重的深度网络上效果不好的技术原因是：梯度会变得非常小。具体而言，当使用反向传播方法计算导数的时候，随着网络的深度的增加，反向传播的梯度（从输出层到网络的最初几层）的幅度值会急剧地减小。结果就造成了整体的损失函数相对于最初几层的权重
深度学习基础—梯度问题与Mini-batch 梯度下降
最新发布
sniper_fandc的博客
08-18 1128
梯度爆炸/梯度消失：训练神经网络的过程中，由于网络层数过多以及激活函数选择原因，出现的导数很大或很小的现象，导致训练难度加大。举一个栗子：假如网络的每层每个权重值都>1，就是1.5，忽略偏置b，网络有100层，激活函数是线性激活函数即输出原值，那么1.5的100次方约为406,561,177,535,215,237，这就是指数爆炸带来的效果。如果权重值都<1，那么网络层数很多的话，输出就会趋于0，也就是梯度消失。
梯度弥散问题
m0_69378371的博客
01-22 382
这个问题的本质在于，随着误差梯度在网络中的反向传播，梯度的大小逐渐减小，以至于在到达网络较浅层时，梯度变得非常小。1. **原因**：梯度弥散通常发生在使用传统激活函数（如Sigmoid或Tanh）的深层网络中。2. **影响**：由于靠近输入层的网络参数更新缓慢，导致这些层的学习过程非常慢。- **权重初始化技巧**：如He初始化或Xavier初始化，这些技巧可以帮助减少梯度弥散的影响。- **使用ReLU激活函数**：ReLU函数在正数区间的梯度恒定，有助于减轻梯度弥散问题。
浅谈过拟合问题与梯度爆炸问题
WHY380012801的博客
09-07 926
算法常见面试问题总结 前言： 这几天忙着秋招，也没时间总结自己最近学习的知识点，由于自己应聘的是算法岗位，所以就把最近面试时遇到的问题和大家一起分享一下，有什么不对的还需各位读者指出来。最后希望自己和我的那个她能够找到一份满意的工作。 解决过拟合的问题 1.什么是过拟合？ 一般提及到过拟合就是说在训练集上模型表现很好，但是在测试集上效果很差，即模型的泛化能力不行。过拟合是模型训...
【深度学习】梯度消失 / 梯度弥散 (gradient diffusion)
JNing
12-18 6345
【深度学习】梯度消失 / 梯度弥散 (gradient diffusion)
学习笔记：深度学习（3）——卷积神经网络（CNN）理论篇
热门推荐
Morganfs的博客
04-12 10万+
深度学习笔记——CNN卷积神经网络理论篇。主要包括CNN的概念、基本原理、类型综述。算是比较完善的一篇文章了。
深度学习——知识梳理篇（已入门）
GWENGJING的博客
10-10 927
本文不太适合深度学习初学者，适合于深度学习已入门的朋友来梳理知识的大纲，里面的一些技术我也会在后面的逐一进行讲解，本文将从过拟合这个问题来贯穿整个深度学习。
【机器学习】梯度弥散
Mr_health的博客
12-01 1169
这里C（w）为最后的代价函数，它权值w的函数。每一层的加权输入为ZJ=W×aj-1+b。每一层的输出为aj，aj=φ(ZJ)，这里φ是激活函数。 反向传播更新的是每一层神经元连接的权重w，即求C（w）对每一层w 的偏导数。反向传播首先求C对W4的偏导数，所以公式为: 同理，由于W3只能通过加权输入Z3在影响结果，所以公式为： 可以看出在更新权值的时候，每向前传播一层，就要乘以激活...
梯度弥散和梯度爆炸
我是天才很好
12-12 591
1. 什么是梯度弥散和梯度爆炸（发生原因） 梯度弥散：由于导数的链式法则，连续多层小于1的梯度相乘会使梯度越来越小，最终导致某层梯度为0。 梯度爆炸：由于导数的链式法则，连续多层大于1的梯度相乘会使梯度越来越大，最终导致梯度太大的问题。 2. 梯度弥散和梯度爆炸会造成什么影响 梯度弥散：会使得网络前几层的参数不再更新，最终导致模型的性能很差 梯度爆炸：会使得某层的参数w过大，造成网络不稳定，...
训练过程--对付梯度弥散/梯度消失
wydbyxr的博客
12-05 563
All you need is a good init. If you can’t find the good init, use Batch Normalization.
深度学习基础知识---梯度弥散 梯度爆炸
thequitesunshine007的博客
12-19 2826
防止过拟合：在网络的训练中，BN的使用使得一个minibatch中所有样本都被关联在了一起，因此网络不会从某一个训练样本中生成确定的结果，即同样一个样本的输出不再仅仅取决于样本的本身，也取决于跟这个样本同属一个batch的其他样本，而每次网络都是随机取batch，这样就会使得整个网络不会朝这一个方向使劲学习。1）没有它之前，需要小心的调整学习率和权重初始化，但是有了BN可以放心的使用大学习率，但是使用了BN，就不用小心的调参了，较大的学习率极大的提高了学习速度。但如果数据的分布一直在变，学习就很难了。
51.RNN训练难题--梯度弥散与梯度爆炸、详解机器学习中的梯度消失、爆炸原因及其解决方法；RNN网络的梯度推导公式（学习笔记，学习整理）
涂作权的博客
03-01 2460
1.51.RNN训练难题–梯度弥散与梯度爆炸 1.51.1.梯度弥散与梯度爆炸 1.51.2.详解机器学习中的梯度消失、爆炸原因及其解决方法 1.51.2.1.前言 1.51.2.2.第一部分：为什么要使用梯度更新规则 1.51.2.3.第二部分：梯度消失、爆炸 1.51.2.3.1.深层网络角度 1.51.2.3.2.激活函数角度 1.51.2.4.第三部分：梯度消失、爆炸的解决方案 1.51.2.4.1.方案1-预训练加微调 1.51.2.4.2.方案2-梯度剪切、正则 1.51.2.4.3.方案3-r
深度学习知识七：欠拟合、过拟合、梯度爆炸、梯度消失等问题的原因与大概解决方法
yangdeshun888的博客
07-17 5312
1、欠拟合：是一种不能很好拟合数据的的现象。 导致结果：其会导致网络的训练的准确度不高，不能很好的非线性拟合数据，进行分类。 造成原因：这种现象很可能是网络层数不够多，不够深，导致其非线性不够好。从而对于少量样本能进行很好的拟合，而较多样本无法很好的拟合。其实，现在的深度比较少出现欠拟合现象。 解决方法：加深网络。 过拟合：是一种过度拟合训练样本，导致网络自身缺失了“泛化能力”，无...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值