训练过程中出现loss为nan的问题

已于 2022-07-14 12:17:27 修改
阅读量491 收藏
点赞数 1
文章标签： 深度学习 神经网络 pytorch
于 2022-07-14 11:13:49 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_47062807/article/details/125780316
版权

问题描述

  • 这是一场由学习率引发的血案

在训练时，第一个batch打印出来的loss还很正常，但是后面逐渐增大的不可控制，直接显示为nan值，之前设计对比学习损失函数的时候也出现过类似的情况，当时的问题出在抽取的特征向量没有归一化，导致两向量的乘积过大。但是这次我真的无解了。。
就在我回头检查训练参数的时候，我发现优化器中的学习率调用的是超参中的args.num_classes=5，也就是说，我把学习率默认设置成了5🥴

综上，学习率过大也可能会导致loss出现无穷大的情况。
完结撒花🎇🎇🎇

weiweiweimengting
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
pytorch半精度训练时出现nan的情况
lppfwl的博客
11-04 2541
最近在训练bert模型的时候，因为gpu内存不足，就想着用半精度训练的方式来降低内存占用，加速训练，但是训练几百个batch之后，就出现模型输出为nan的情况，但是之前用单精度float32训练的时候就没出现过这个问题。 一点点去查看之后，发现是在某个batch更新之后，模型embedding层的权重参数变成了nan，在网上查了一些资料之后终于解决这个问题了，这里记录一下： １.由于我的优化器使用的是adam算法，在用半精度训练的时候需要torch.optim.Adam中加入参数eps=1e-3，否则就有可
训练模型中损失（loss）异常分析
热门推荐
github_38052581的博客
02-27 4万+
前言 训练模型过程中随时都要注意目标函数值(loss)的大小变化。一个正常的模型loss应该随训练轮数（epoch）的增加而缓慢下降，然后趋于稳定。虽然在模型训练的初始阶段，loss有可能会出现大幅度震荡变化，但是只要数据量充分，模型正确，训练的轮数足够长，模型最终会达到收敛状态，接近最优值或者找到了某个局部最优值。在模型实际训练过程中，可能会得到一些异常loss值，如loss等于nan；los...
深度学习网络训练，Loss出现Nan的解决办法
最新发布
不要给自己设限，尝试更多可能（思所向 皆可往）
04-23 2419
模型的训练不是单纯的调参，重要的是能针对出现的各种问题提出正确的解决方案。本文就训练网络loss出现Nan的原因做了具体分析，并给出了详细的解决方案，希望对大家训练模型有所帮助。一、原因如果在迭代的100轮数以内，出现NaN，一般情况下的原因是你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。
深度学习中Loss突然变为0的解决方法
Alden He
02-17 1万+
在深度学习中，在网络模型，优化器，损失函数均正确的情况下，可能在训练过程中会发生loss为nan的情况，这种情况下可能的一种原因是输入数据存在nan的情况，如果在数据量很多的情况下，可以通过以下方法来修正 假设我们读取的array为a import numpy as np def read(): arr=np.array([[1,2,3],[4,5,nan]]) whereisnan=np.i...
在训模型的时候如果loss报Nan了，可能是因为什么？
Angelina_Jolie的博客
07-04 3598
如果模型参数初始化的值过大或过小，可能会导致训练过程中的激活值或梯度过大或过小，从而引发NaN值。：学习率过高可能会使模型在训练过程中跳过最优解，导致损失函数的值快速增加到无穷大，然后变成NaN。：一些操作可能会在某些输入值上产生数值不稳定，例如，对一个非正数取对数，或者除以一个接近于零的数。：如果输入数据包含NaN值或者无穷大的值，或者标签数据有问题，可能会导致NaN损失。除了这些，如果问题仍然存在，建议使用调试工具或者逐步运行代码，查看哪一步开始产生NaN值，这将有助于识别和解决问题。
Loss变为NaN怎么办？
天渡漫谈
07-07 1万+
在训练网络的时候，当打印出的日志提示loss变为NaN的时候，是不是整个人都开始抓狂了？相信应该每个算法工程师都遇到过这个令人头秃的问题。 本文就是介绍如果遇到loss变成NaN时，如何快速的或者多方面排查原因。 一、训练数据有问题 比如数据集中就有某些特征的某些取值为NaN，或者label缺失。在一个iteration中batch数据如果没问题，loss正常显示；如果不凑巧，batch数据中恰好有NaN或者label缺失，loss就突然变为NaN了。 建议这一步作为排查问题时的Step1。 二、梯度爆.
Pytorch训练过程出现nan的解决方式
12-23
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。 在网上查了下解决方案。我的问题是出在学习率上了。 我自己做的样本数据集比较小，就三类，...
tensorflow训练中出现nan问题的解决
09-20
在深度学习过程中，特别是在使用TensorFlow框架训练神经网络模型时，可能会遇到训练损失(loss)突然变为`nan`（非数字）的问题。这通常意味着出现了数值溢出或分母为零等计算异常。解决这个问题需要从多个角度进行...
记录模型训练时loss值的变化情况
09-16
首先，记录模型训练过程中的loss值变化是非常重要的。通常，我们会在训练过程中设置一定的频率（如每n个批次或每个epoch），输出当前的loss值。在Python中，可以利用`sys.stdout.write()`和`sys.stdout.flush()`来...
keras自定义回调函数查看训练的loss和accuracy方式
09-16
- `logs`参数是一个字典，包含了训练过程中的关键信息，如损失值(loss)和准确率(accuracy)。 3. **内置的回调函数**： - Keras提供了一些内置的回调函数，例如： - `BaseLogger`：默认的日志回调，记录训练和...
[深度学习] 梯度消失与梯度爆炸、Loss为Nan的原因
北望花村
08-04 2万+
现象 如何确定是否出现梯度爆炸？ 在训练过程中出现梯度爆炸会伴随一些细微的信号，如： （1）模型无法从训练数据中获得更新； （2）模型不稳定，导致更新过程中的损失出现显著变化； （3）训练过程中，模型的损失变为Nan。   梯度消失与梯度爆炸原因 首先，来看神经网络更新梯度的原理，即反向传播算法。 详细推导参考：反向传播算法 通过反向传播算法更新梯度的公式可以看到，影响梯度...
模型训练中出现NaN Loss的原因及解决方法
豆芽菜
05-23 1万+
1 梯度爆炸 原因：学习的过程中，梯度变得非常大，使得学习的过程偏离了正常的轨迹。 症状：观察每次迭代的loss值，会发现loss明显增长，最后因为loss值太大以至于不能用浮点去表示，所以变成了Nan。 可采取的措施：1 降低学习速率，2 如果模型中有多个loss层，就需要找到梯度爆炸的层，然后降低该层的loss weight。 2 学习率过高 原因：过高的学习率乘上所有的梯度使得所有参数变成无效的值。 症状：观察输出日志，会发现学习率变成nan 可采取的措施：设置合适的学习速率 3 损失函数
训练深度学习网络时候，出现Nan是什么原因，怎么才能避免？——我自己是因为data有nan的坏数据，clear下解决...
djph26741的博客
03-19 2485
from:https://www.zhihu.com/question/49346370 Harick 梯度爆炸了吧。 我的解决办法一般以下几条：1、数据归一化（减均值，除方差，或者加入normalization，例如BN、L2 norm等）；2、更换参数初始化方法（对于CNN，一般用xavier或者msra的初始化方法...
对比学习Contrastive Learning
yang_daxia的博客
12-21 2万+
对比学习是一种常用的自监督学习方法。 核心思想：把正样本距离拉近，正样本与负样本距离拉远。（类似度量学习中的margin, 但是对比学习为正负样本分类，无margin概念） 方式：通过一个正样本，以及k个负样本进行对比学习，研究表明K越大越好，可以取几万个。 优化问题：对于一个正样本，需要和k个负样本做分类，使模型分清楚哪些是正样本，哪些是负样本，用交叉熵即可。如下图 经典方法： memory bank:把所有样本的logits存起来，计算loss MoCo：用一个qu...
深度学习出现NAN的情况
qq_43270687的博客
09-12 1616
1.首先检查的原因是训练集中出现脏数据，脏数据的出现导致我的logits计算出了0，0传给 log(x|x=0) 导致为∞, 即nan。之所以会这样，是因为我的实验是实际业务上的真实数据。所以需要一条一条检测数据是否为脏数据。 2.其次才是使用如下解决方案 (1)、数据归一化（减均值，除方差，或者加入normalization，例如BN、L2 norm等）； (2)、更换参数初始化方法（对于CNN...
模型训练过程中出现Nan该怎么办？
dlhlSC的博客
05-04 4123
导语在深度学习模型训练过程中，有时会出现损失值为Nan的情况。那么在训练过程中发生Nan的最常见原因是什么？其次，有什么方法可以解决这个问题？01无效输入原因：输入中包含Nan或者输入为空，对于图像而言输入为损坏的图片。 检查方法：使用python的异常检测机制对数据进行合格检测解决方法：修改代码满足输入为有效的数据，比如在检查过程中先删除受损的图片。02损失函数原因：有时损耗函数的计算会导致Nan的出现。例如给InfogainLoss层提供非归一化的值或者使用有bug的自定义损失层等。检查方法：
Deep Learning 之 训练过程中出现NaN问题
BVL的博客
07-25 1万+
相信很多人都遇到过训练一个deep model的过程中，loss突然变成了NaN。在这里对这个问题做一个总结。 一般来说，出现NaN有以下几种情况： 1.如果在迭代的100轮以内，出现NaN，一般情况下的原因是因为你的学习率过高，需要降低学习率。可以不断降低学习率直至不出现NaN为止，一般来说低于现有学习率1-10倍即可。 2.如果当前的网络是类似于RNN的循环神经网络的话，出现NaN
使用caffe训练时Loss变为nan的原因
huangynn的专栏
10-27 1万+
梯度爆炸原因：梯度变得非常大，使得学习过程难以继续现象：观察log，注意每一轮迭代后的loss。loss随着每轮迭代越来越大，最终超过了浮点型表示的范围，就变成了nan。措施：减小solver.prototxt中的base_lr，至少减小一个数量级。如果有多个loss layer，需要找出哪个损失层导致了梯度爆炸，并在train_val.prototxt中减小该层的loss_weight，而非是减小
模型训练时loss出现Nan的原因分析
nwpuxhld
04-18 8932
下面的分析都是基于tensorflow 数据不正确 比如说我们处理的实际是一个N分类问题的时候，在tensorflow中，我们计算cross entropy的时候将其当作一个M分类问题。如果N>M, 则在计算loss的时候不会报错，计算得到的loss直接就是NAN 学习率过大 有时候学习率过大也会导致NAN，为了判别这种错误，我们只需要将学习率设置为0，看是否会继续出现NAN，如果...
利用mmdetection训练自己的数据集loss为nan
07-28
你遇到的问题可能是由于训练过程中出现了NaN（Not a Number）的损失值。这通常是由于数据集中存在不合适的标注或者训练参数的设置问题所引起的。下面是一些可能的原因和解决方法： 1. 数据集问题：检查你的数据集中...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值