深度学习 tensorflow relu梯度消失问题

已于 2024-04-23 10:56:54 修改
阅读量409 收藏 4
点赞数 7
文章标签： 深度学习 tensorflow
于 2023-11-24 16:24:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42453555/article/details/134601277
版权

结论

最后是通过修改初始化函数和添加L2正则化基本解决了，不过偶尔还是会报错

问题现象

loss函数采用交叉熵

使用relu效果更好，但是会出现loss和梯度都变成nan的现象；使用其他激活函数不会出现nan，但是性能不如relu

出现nan的时机：如果inputs比较少，那么在100多个epoch，训练基本已经收敛之后才会nan；但是如果数据比较多（在信号检测里 天线数比较大的时候）基本第一个epoch的前几个batch就会nan

可能原因

上网查了相关问题，可能原因和解决方法包括：

脏数据

交叉熵nan

使用了交叉熵做损失函数，所以有可能出现log0的问题 --> 自己写交叉熵，手动加入一个极小量

但是这里有一个新的问题，即把原始数据fetch出来看没有log0，但是在graph里算却log0了，不知道为什么会产生精度差异？解决办法是使用裁剪tf.clip_by_value，把下界调大一点

inputs nan

检查过了，也没有这个问题

梯度爆炸

解决了loss的nan可能后，发现梯度gradients还是会先于loss出现nan。把梯度fetch出来，发现实际上梯度都很小，基本在1e-4以下，所以也排除梯度特别大的情况，那只能认为是梯度太小最后nan

学习率太大

调小了/采用学习率衰减，没有用

过拟合

试了dropout，L2正则化，没用

初始化

说relu适合he初始化，但我觉得应该不是这个原因。因为我不是一开始nan的，而是几乎收敛了之后才nan，所以感觉不是初始化的问题，但是加上这段代码就解决了nan的问题

sbchic
关注
  • 7
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
深度学习 --- 优化入门三（梯度消失和激活函数ReLU）
进击的菜鸟
12-01 1万+
前两篇的优化主要是针对梯度的存在的问题，如鞍点，局部最优，梯度悬崖这些问题的优化，本节将详细探讨梯度消失问题，梯度消失问题在BP的网络里详细的介绍过（兴趣有请的查看我的这篇文章），然后主要精力介绍RuLU激活函数，本篇还是根据国外的文章进行翻译，然后再此基础上补充，这样使大家更容易理解，好，那就开始了： 分布，该死的分布，还有统计学 不同于之前的机器学习方法，神经网络并不依赖关于输入数据的任何...
解决梯度消失的5大方法：深度学习实践
禅与计算机程序设计艺术
12-27 1079
1.背景介绍 深度学习是一种人工智能技术，它通过模拟人类大脑中的神经网络来学习和处理数据。在深度学习中，神经网络由多个节点组成，这些节点被称为神经元或神经层。神经网络通过训练来学习，训练过程中涉及到梯度下降法来优化模型参数。然而，在深度学习网络中，由于权重的累积，梯度会逐渐趋于零，导致梯度消失(vanishing gradient)问题。梯度消失问题会导致模型训练过慢或无法收敛。为了解决这个问题...
relu函数是否存在梯度消失问题以及relu函数的死亡节点问题
weixin_30414305的博客
06-04 1520
relu函数是否存在梯度消失问题以及relu函数的死亡节点问题 存在，在小于的时候，激活函数梯度为零，梯度消失，神经元不更新，变成了死亡节点。 出现这个原因可能是因为学习率太大，导致w更新巨大，使得输入数据在经过这个神经元的时候，输出值小于0，从而经过激活函数的时候为0，从此不再更新。所以relu为激活函数，学习率不能太大 转载于:https://www.cnblogs.com/lzida922...
【神经网络深度学习】--梯度消失and爆炸的原因及解决方案
TU商的博客
10-21 4006
具体来说就是反向传播中，经过每一层的梯度会乘以该层的权重，举个简单例子： 正向传播中f3=f2(wT∗x+b)，那么反向传播中，∂f2∂x=∂f2∂f1w，反向传播式子中有w的存在，所以w的大小影响了梯度的消失和爆炸，batchnorm就是通过对每一层的输出做scale和shift的方法，通过一定的规范化手段，所以产生影响的就是刚刚提的三个因素。所以 |σ′(z)w|≤0.25 ，多个小于1的数连乘之后，那将会越来越小，导致靠近输入层的层的权重的偏导几乎为0，也就是说几乎不更新，这就是梯度消失的根本原因。
深度学习中的梯度消失与梯度爆炸及解决方案
bitcarmanlee的博客
02-23 4125
1.梯度消失与梯度爆炸 反向传播算法在神经网络中非常常见，可以说是整个深度学习的基石。在反向传播中，经常会出现梯度消失与梯度爆炸的问题。梯度消失产生的原因一般有两种情况：一是结构较深的网络，二是采用了不太合适的激活函数。而梯度爆炸一般也有两种情况：一是结构较深的网络，二是初始化权重不合适，权重值太大。 从网上找了一张深度网络示例图，简单说明一下梯度消失或者爆炸的问题。 其中σ′(z4)\sigma'(z_4)σ′(z4​)表示激活层的导数，w4w_4w4​是该层的权重。σ′(z4)w4\sigma'(z_
深度学习中梯度消失和梯度爆炸的根本原因及其缓解方法
Oliver_jiang的博客
07-06 1万+
一、梯度消失和爆炸的根本原因 首先解释一下什么是梯度消失和梯度爆炸， 梯度消失：梯度趋近于零，网络权重无法更新或更新的很微小，网络训练再久也不会有效果； 梯度爆炸：梯度呈指数级增长，变的非常大，然后导致网络权重的大幅更新，使网络变得不稳定。 其实不管是梯度消失还是梯度爆炸本质上都是由于——深度神经网络的反向传播造成的。 可以通过两个角度去解释：一是在深层网络中，二是采用的激活函数导致的。 1. 深层网络角度 我们先来回顾一下神经网络反向传播的机理： 简单的三层神经网络 先看其中某一层的反算机制，上图中红色线
Tensorflow实战Google深度学习框架
01-28
《Tensorflow实战Google深度学习框架》 TensorFlow是Google开发的一款强大的开源深度学习框架，它以其灵活的计算图模型和高效的分布式计算能力受到广大开发者喜爱。在TensorFlow中，核心概念是“张量”（tensor），...
图像隐写 深度学习 tensorflow_图像隐写 代码,图像隐写代码实现
05-26
在传统的卷积神经网络（CNN）中，随着网络层次加深，梯度消失和爆炸问题可能导致训练困难。残差学习通过引入跳跃连接，允许网络直接学习输入与输出之间的残差，从而改善了训练效果，使模型能够更有效地学习深层特征...
tensorflow 查看梯度方式
12-20
- 使用ReLU、Leaky ReLU等非线性激活函数，它们在一定程度上缓解梯度消失问题。 - 使用残差块（Residual Block）或稠密块（Dense Block），这些结构允许梯度直接从前向层传递到后向层，减少了信息丢失。 - 调整网络...
卷积神经网络梯度消失,神经网络中梯度的概念
神经网络爱好者
08-11 1489
累乘中一个梯度小于1，那么不断累乘，这个值会越来越小，梯度衰减很大，迅速接近0。在神经网络中是离输出层近的参数，梯度越大，远的参数，梯度越接近0。根本原因是sigmoid函数的缺陷。方法：1、好的初始化方法，逐层预训练，后向传播微调。2、换激活函数，用relu，leaky——relu。靠的是使梯度靠近1或等于1，避免了在累乘过程中，结果迅速衰减。避免梯度消失和梯度爆炸的方案：使用新的激活函数Sigmoid函数和双曲正切函数都会导致梯度消失的问题。ReLU函数当x...
ReLU和Batch Normalization解决梯度消失和梯度爆炸
最新发布
m0_69378371的博客
01-12 728
**解决梯度消失**：在传统的 Sigmoid 和 Tanh 激活函数中，梯度在接近饱和区域（接近0或1）时非常小，导致梯度消失问题。3. **批归一化（Batch Normalization）**：批归一化可以在训练过程中规范化每一层的输入分布，有助于防止梯度消失和梯度爆炸。- **解决梯度爆炸**：类似于防止梯度消失，批归一化也可以减少梯度爆炸问题，因为它限制了每一层的激活值的范围。4. **梯度截断**：在梯度爆炸的情况下，可以应用梯度截断来限制梯度的大小，防止参数变得非常大。
梯度消失和梯度爆炸及解决方法
热门推荐
hollyprince的博客
07-20 1万+
梯度消失和梯度爆炸的原因和解决办法
一文读懂：梯度消失（爆炸）及其解决方法
忽逢桃林的博客
06-21 4241
梯度消失问题和梯度爆炸问题，总的来说可以称为梯度不稳定问题。 【要背住的知识】：用ReLU代替Sigmoid，用BN层，用残差结构解决梯度消失问题。梯度爆炸问题的话，可以用正则化来限制。sigmoid的导数是【0，0.25】. 出现原因 两者出现原因都是因为链式法则。当模型的层数过多的时候，计算梯度的时候就会出现非常多的乘积项。用下面这个例子来理解： 这是每层只有1个神经元的例子，每个神经元的激活函数都是sigmoid，然后我们想要更新b1这个参数。 按照大家都公认的符号来表示： KaTeX parse
深度学习：梯度消失和梯度爆炸的解决方法
wsy的浮生
05-27 8051
转载：梯度爆炸、消失原因及解决方法 深度学习：梯度消失与爆炸 如何确定是否出现梯度爆炸？如： 模型无法从训练数据中获得更新（如低损失）。模型不稳定，导致更新过程中的损失出现显著变化。训练过程中，模型损失变成 NaN。 1. 重新设计网络模型        梯度爆炸可以通过重新设计层数更少的网络来解决。使用更小的批尺寸对网络训练也有好处。另外也许是学习率过大导致的问题，减小学习率。 2. 使用 ReLU 激活函数
梯度消失与梯度爆炸产生、原理和解决方案
caip12999203000的博客
10-31 1万+
本文章总结了梯度消失与梯度爆炸产生、原理和解决方案。
梯度消失和ReLU
weixin_30872733的博客
06-27 905
两个方面：1. 网络太深，链式法制传导(每次的相乘的数据都小于1)，导致梯度消失。 2. sigmoid, tanh函数的导数趋向于0，导致梯度消失。 当然weight的初始化数据也有很大影响 This is the fourth entry in myjourneyto extend my knowledge of Artificial Intelligence in the y...
＜美团＞深度学习训练中梯度消失的原因有哪些？有哪些解决方法？
09-26 819
梯度消失产生的主要原因有：一是使用了深层网络，二是采用了不合适的损失函数。 （1）目前优化神经网络的方法都是基于BP，即根据损失函数计算的误差通过梯度反向传播的方式，指导深度网络权值的更新优化。其中将误差从末层往前传递的过程需要链式法则（Chain Rule）的帮助。而链式法则是一个连乘的形式，所以当层数越深的时候，梯度将以指数形式传播。梯度消失问题一般随着网络层数的增加会变得越来越明显。在根据损失函数计算的误差通过梯度反向传播的方式对深度网络权值进行更新时，得到的梯度值接近0，也就是梯度消失。 （2）
梯度消失的解决方案：学习率调整策略
禅与计算机程序设计艺术
01-07 515
1.背景介绍 深度学习模型的普及和发展为我们带来了巨大的机遇，同时也为我们带来了诸多挑战。其中，梯度下降算法在训练深度学习模型时，会遇到梯度消失和梯度爆炸的问题。梯度消失(vanishing gradients)问题是指在训练深度神经网络时，由于权重的累积，梯度会逐渐趋近于0，导致模型无法学习到有效的梯度信息，从而导致模型训练效果不佳。梯度爆炸(exploding gradients)问题是指在...
修正的线性激活函数（Relu）如何避免梯度消失
翻滚的老鼠屎
01-15 6460
2019年的第一篇博客。主要译自Machine Learning Mastery，加上了一点点自己的想法。如有问题，欢迎批评指正~ 消失梯度问题是在训练深度神经网络时可能遇到的不稳定问题之一。它描述了深度多层前馈网络或循环神经网络无法将有用的梯度信息从模型的输出端传播回模型输入端附近的层的情况。其结果是，具有许多层的模型通常无法在给定的数据集上学习或过早地收敛到较差的解决方案。...
深度学习入门：TensorFlow实战指南
读者将学习如何使用TensorFlow构建和训练RNN模型，以及解决梯度消失和爆炸问题的LSTM单元。 7. **深度学习实践**：书可能包含一些实际项目，如图像分类、文本生成或推荐系统，以便读者将理论知识应用于实际问题中。...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值