mmdet训练中遇到loss 为NaN

于 2024-08-08 16:37:21 发布
阅读量121 收藏 1
点赞数 5
文章标签： 深度学习 人工智能 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YINZY2020/article/details/141030651
版权

在做对比实验时，发现有的模型例如double faster-rcnn在训练自己的数据集时会出现训练过程中loss为NaN的情况，可能是lr过大，发现可以更改mmdet模型配置文件，加入梯度裁剪，并且调小lr即可，代码如下：

#在模型的配置文件中加入 可以调整训练过程中的梯度最大值
optim_wrapper = dict(
    type='OptimWrapper',
    optimizer=dict(
        _delete_=True, type='AdamW', lr=0.0025, weight_decay=0.0001),
    clip_grad=dict(max_norm=1, norm_type=2)
)

只会ctrlCV的小羊
关注
【mmdetection系列】mmdetection之loss讲解
聿默的博客
12-10 2055
mmdetection之loss讲解，configs、具体实现、及其如何调用的？
pytorch训练过程中loss出现NaN的原因及可采取的方法
热门推荐
jacke121的专栏
10-03 1万+
在pytorch训练过程中出现loss=nan的情况 1.学习率太高。 2.loss函数 3.对于回归问题，可能出现了除0 的计算，加一个很小的余项可能可以解决 4.数据本身，是否存在Nan，可以用numpy.any(numpy.isnan(x))检查一下input和target 5.target本身应该是能够被loss函数计算的，比如sigmoid激活函数的target应该大于0，...
解决mmdetection训练过程loss为nan的问题（已解决）
wzk4869的博客
05-18 1206
解决mmdetection训练过程loss为nan的问题（已解决）
mmdetection训练过程loss为nan
最新发布
m0_63947712的博客
06-08 582
注：不是所有的总配置文件都有lr字段，但是如果有的话就要做相应修改，例如./configs/faster-rcnn/faster-rcnn_r50_fpn_1x_coco.py就没有，如下图。修改lr，./config/retinanet/retinanet_r50_fpn_1x_coco.py里的lr默认是0.01，可以修改得和上面第一处一样（修改得不一样似乎也不会报错）②打开总配置文件，例如我这里使用的是./config/retinanet/retinanet_r50_fpn_1x_coco.py。
mmdet之Loss模块详解
wulele2的博客
06-26 4316
 该篇介绍mmdet的损失函数部分，后续会逐渐扩充mmdet中损失函数的使用注意事项以及使用方法。 
解决mmdetection训练过程loss为nan的问题
LJC的博客
12-08 5944
我之前遇到两次loss为nan，一次是由于数据标注出现问题，换不同的模型参数均出现此问题，因此需要仔细检查数据格式；另外一次是换了个neck的结构，loss变为nan，后面通过将学习率调为原来的1/10（根据实际情况调整），就没有出现了。下面为官方文档给出的解决方案，应该可以解决大部分问题。 检查数据的标注是否正常， 长或宽为 0 的框可能会导致回归 loss 变为 nan，一些小尺寸（宽度或高度小于 1）的框在数据增强（例如，instaboost）后也会导致此问题。 因此，可以检查标注并过滤掉那些特别
【转载】MMDetection学习配置文件
Mickey的博客
04-17 490
声明：该文章转载于MMDetection官方文档，供方便浏览和自用。
神经网络训练过程中出现loss为nan，神经元坏死
joker_xiansen的博客
09-07 6650
最近在手撸Tensorflow2版本的Faster RCNN模型，稍后会进行整理。但在准备好了模型和训练数据之后的训练环节中出现了大岔子，即训练过程中loss变为nan。nan表示not a number类型，任意有关nan的运算结果都将得到nan。这可真是一颗老鼠屎坏了一锅粥，一但一个step中出现loss为nan，所有神经元的参数都将被更新为nan，之后的epochs和step中所有预测结果和模型参数都将为nan。 为了弄清楚nan的原因，我检查了每个组件函数以及所用的训练数据是否有误...
用keras搭建RNN（如LSTM、GRU），训练时出现loss为nan（not a number）
Miaulxixi的博客
10-23 4413
@用keras搭建RNN（如LSTM、GRU），训练时出现loss为nan（not a number） 问题描述： 用keras搭建RNN（如LSTM、GRU）实现（label = 6）分类问题，训练时出现loss为nan（not a number），训练精度不变为0.1667。我处理的数据为csv文件，2750行181列。 需处理的数据为csv文件，2750行181列。 训练从第一个epoch的开始就出现了train_loss和valid_loss为nan的问题。 网络结构是两层lstm单元数分别为32
pytorch 13 训练过程中出现loss为nan、inf（梯度爆炸、梯度消失）的分析及解决方案
a486259的博客
12-01 8285
从理论的角度上看，本质是梯度消失与梯度爆炸所导致的。梯度消失是指导数值特别小，导致其连乘项接近无穷小，可能是由输入数据的值域太小（导致权重W的导致特别小）或者是神经网络层输出数据落在在激活函数的饱和区（导致激活函数的导致特别小）;而梯度爆炸是指导数值特别大，导致其连乘项特别大，致使W在更新后超出了值域的表示范围。可能是输入数据没有进行归一化（数据量纲太大，致使W的梯度值极大），只要连乘项的导数一直大于1，就会使得靠近输入层的W更新幅度特别大。连乘项是指链式求导法则中每一层的导数，很明显梯度消失与梯度爆炸都受
训练网络的时候Loss突然变为nan
m0_65591206的博客
08-29 2283
训练网络的时候Loss突然变为nan！如果你查阅了很多资料也没有解决，试试这个。
mmdet3d模型输出的各个参数解释
qq_45191169的博客
02-10 719
d0.loss_cls、d0.loss_bbox、d1.loss_cls、d1.loss_bbox、d2.loss_cls、d2.loss_bbox、d3.loss_cls、d3.loss_bbox、d4.loss_cls、d4.loss_bbox：如果模型是分层的（如级联目标检测模型），则这些表示不同层级的分类损失和边界框回归损失。loss_bbox：边界框回归损失（bounding box regression loss），用于衡量模型预测的边界框与真实边界框之间的差异。
【mmdetection3d】——自定义运行时配置
m0_45388819的博客
11-08 2310
教程 5: 自定义运行时配置 自定义优化器设置 自定义 PyTorch 支持的优化器 我们已经支持使用所有 PyTorch 实现的优化器，且唯一需要修改的地方就是改变配置文件中的 optimizer 字段。 举个例子，如果您想使用 ADAM （注意到这样可能会使性能大幅下降），您可以这样修改： optimizer = dict(type='Adam', lr=0.0003, weight_decay=0.0001) 为了修改模型的学习率，用户只需要修改优化器配置中的 lr 字段。用户可以根据 PyTorc
MMDetection系列 | 5. MMDetection运行配置介绍
Clichong
09-17 4294
开门见山，基于mmdet的官方文档直接介绍如何进行我们的运行配置。个人觉得，继承于`default_runtime.py`这个文件之后，主要需要自己稍微更改下的配置主要有7个，分别是：**优化器配置、学习率配置、工作流程配置、检查点配置、日志配置、评估配置、训练设置**。具体的配置流程如下所示。 如果需要其他钩子函数的实现与配置，具体可以查看参考资料1.
mmdetection训练自己的VOC数据集及常见问题
weixin_43570470的博客
04-14 8042
步骤一：准备数据。首先根据规范的VOC数据集导入到项目目录下...
神经网络优化（1）之梯度截断
Lucinda6的博客
04-17 5115
梯度截断 1.出现原因 由于进行反向传播时，进行每一层的梯度计算，假设梯度都是比较大的值，计算到第一层的梯度时，会呈指数级增长（反向传播，从后往前，有相乘的关系），那么更新完的参数值也会很大，越来越大，就会产生梯度爆炸的现象，找不到最优解。 所以，提出了梯度截断的方法。 2.解决方法 ①按值截断 按值截断是比较简单粗暴的方法，由于梯度太大会产生梯度爆炸的现象，太小会产生梯度消失的现象（参数不更新），所以为梯度提供一个范围[a,b], 如果梯度大于b，就把它设置为b； 如果梯度小于a，就把它设置为a； 若在
Pytorch训练过程出现nan的解决方式
12-23
今天使用shuffleNetV2+，使用自己的数据集，遇到了loss是nan的情况，而且top1精确率出现断崖式上升，这显示是不正常的。 在网上查了下解决方案。我的问题是出在学习率上了。 我自己做的样本数据集比较小，就三类，...
如何使用梯度裁剪（Gradient Clipping）避免梯度爆炸
baicaiBC3的博客
03-06 7978
给定误差函数，学习率，甚至目标变量的大小，训练神经网络可能变得不稳定。训练期间权重的较大更新会导致数值上溢或下溢，通常称为梯度爆炸（gradients exploding）。 梯度爆炸在递归神经网络中更为常见，例如LSTM，因为梯度的累积在数百个输入时间步长上展开。 梯度爆炸的一种常见且相对容易的解决方案是：在通过网络向后传播误差并使用其更新权重之前，更改误差的导数。两种方法包括：给定选定的向量范数（ vector norm）来重新缩放梯度；以及裁剪超出预设范围的梯度值。这些方法一起被称为梯度裁剪（gra.
mmdet重装方法--解决一般安装失败问题
qq_41719643的博客
10-12 5975
前言 本教程适合对象：已经根据mmdet官方教程亲自安装过一遍的同学。 在确定自己cuda、mmdet、mmcv版本匹配后，任然报一下编译不完全或奇怪的错误，可以通过重新安装mmdet 和 mmcv 解决，笔者已经遇到过多次并解决问题。 1.常见错误 问题1： 问题2： 等等 2.解决方法 1.卸载原来版本 # 卸载mmcv-full pip uninstall mmcv-full # 卸载mmdet pip uninstall mmdet 2.再次安装 # 先安装mm..
mmdet之训练和推理
deep_love1314的博客
06-20 4412
mmdetection的训练和推理
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值