faster rcnn第二阶段loss出现nan_深度学习训练Loss异常Debug思路

最新推荐文章于 2023-03-05 23:43:22 发布
最新推荐文章于 2023-03-05 23:43:22 发布
阅读量318 收藏 1
点赞数
文章标签： faster rcnn第二阶段loss出现nan
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_39536806/article/details/113071341
版权
本文介绍了在深度学习训练中遇到Loss异常，如NaN或不合理数值时的Debug思路。作者通过改造文字检测网络时遇到的Loss负数问题，分享了如何检查Loss函数逻辑、代码实现和输入数据的正确性。同时，提出了数据异常Debug的建议，包括观察数据分布、使用断点和科学视图工具，以及通过统计函数验证数据假设。
摘要由CSDN通过智能技术生成

ce03b488fc9b5ec74c8a25156acb030d.png

如果Loss异常怎么办?

首先我指的异常是Loss计算出现了明显的逻辑错误(始终为0或者为特别大的一个数字)，而不是因为优化问题导致Loss不收敛,Nan这类问题。

一个令人悲伤的话题

我之前改造了一个文字检测网络使其能识别手写字体,相应地对loss部分做出了一些改动。结果训练时一开始发现Loss大的离谱，后经一番Debug后Loss成了负数!？这个问题就很尴尬了，Loss为何成了负数呢？

最后仔细排查发现是数据标注位置出现了错误，Label中出现了负数导致Loss为负 (๑•̀ㅂ•́) ✧

因为当时基于别人代码进行修改，对数据打标签的一些代码细节并没有彻底读懂，因此在改动的时候考虑不全面，闹出了Loss为负数这个天大的笑话.其实出bug再所难免，不要指望自己一次coding就全对，但是在做任务前要有一个清晰的概念,对基本的数学和逻辑原理都要心中有数；如果是改造别人的代码,需要对他人的代码有比较彻底的了解，防止忽视一些细节导致错误发生。经此一事,我总结了Loss异常Debug的一些心得体会:

Loss异常Debug思路:

1.仔细检查Loss函数的设计逻辑是否正确，如果loss由多部分组成,可以分别输出检查，缩小范围。

2.检查具体实现的函数代码，看看函数用的对不对，还有就是数据类型转换有没有错误。很多函数都需要指定axis，这部分容易弄错

最低0.47元/天 解锁文章
weixin_39536806
关注
开源模型应用落地-qwen2-7b-instruct-LoRA微调-ms-swift-单机多卡-RTX 4090双卡（十四）
没有卑微的工作，只有卑微的心态，与其抱怨，不如埋头实干
09-01 2233
使用ms-swift高效微调qwen2-7b-instruct
TensorFlow, Mxnet, PyTorch: 要点总结及常见神经网络代码实现
luv_dusk 的博客
07-09 5122
目录一、深度学习框架MxnetTensorFlow二、多层感知机 (MLP) (Mxnet+TensorFlow实现)三、卷积神经网络 (LeNet/AlexNet/VGG/NiN/GoogLeNet/ResNet) (Mxnet实现)四、循环神经网络 (RNN/GRU/LSTM) (Mxnet+TensorFlow实现)五、对抗式生成网络 (DCGAN) (Mxnet实现)六、区域卷积神经网络 ...
faster-rcnn训练自己的数据集出现loss为nan的情况
最新发布
qq_34108497的博客
03-05 500
faster-rcnn训练自己的数据集遇到loss为nan
faster rcnn训练过程出现loss=nan解决办法
我是一个菜鸟，虚心学习的菜鸟。
06-07 1万+
在我训练faster rcnn的过程中，使用VOC2007数据集end2end训练方法，并没有出现loss=nan的问题，出现了loss=nan说明模型发散，此时应该停止训练，不然得到的模型也不能检测出物体。 在我自己训练自己的数据（Kitti数据集转成voc数据集）的时候，出现一个RuntimeWarning: invalid value encountered in log targets_
FasterRCNN训练时total Loss 出现 NaN，或者出现Pdb问题
nuomijia的博客
04-16 765
问题描述：FasterRCNN训练时total Loss 出现 NaN，或者出现Pdb问题“keep_inds = np.append(fg_inds, bg_inds) (Pdb) 问题解决方案： 在文件夹\lib\datasets\下，将文件pascal_voc.py中函数_load_pascal_annotation中的： x1 = float(bbox.find(‘xmin’).text) - 1 y1 = float(bbox.find(‘ymin’).text) - 1 x2 = float(b
faster-rcnn系列assert (boxes[:, 2] >= boxes[:, 0]).all()和loss偶尔为nan的问题
Sundrops的专栏
11-16 3455
问题综述这些问题的根源都是faster-rcnn系列在处理生成pascal voc数据集时，为了使像素以0为起点，每个bbox的左上右下坐标都减1,如果你的数据里有坐标为0，一般是x1或y1,这时x1 = 0-1 = 65535，就会出现下面的问题1，2。
faster rcnn训练过程出现loss=nan的解决办法
ZeroZone零域的博客
06-15 1万+
出现了loss=nan说明模型发散，此时应该停止训练。 出现这种错误的情况可能有以下几种，根据你自己的情况来决定。 1、GPU的arch设置的不对 打开./lib/setup.py文件，找到第130行，将gpu的arch设置成与自己电脑相匹配的算力，这里举个例子，如果你用的是GTX1080，那么你的算力就是6.1，此时就需要将-arch=sm_52改成-arch=sm_61。 可以在这个网...
YOLOv3 训练自己的数据（解决网上提供的文章不能一次成功的问题）
holmes_MX的博客
07-27 8101
0.写本博客的目的 对于使用yolov3训练自己的数据，网上虽然文章多，但是经过实验发现，基本没有能一次运行的成功的。因此特写此文，记录自己在使用yolov3训练自己的数据时遇到的坑。 环境：ubuntu14 + CUDA8.0 + cudnn5.0 + GTX1050Ti (4G) 1. 制作数据 为了便于在多个目标检测框架（如Faster R-CNN，SSD等）中训练，...
Ubuntu18.04下YOLOv3详解——搭建、训练、测试、评估
夜夜coding到天明的博客
07-29 1万+
YOLOv3——搭建、训练、测试、评估环境搭建模型训练模型测试模型评估插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML 图表FLowchart流程图导出与导入导出导入 环境搭建 我们对Markdown编辑器进行了一些功能拓展与语...
目标识别：SSD 论文及pytorch代码学习笔记
热门推荐
zxd52csx的博客
09-20 2万+
论文：https://arxiv.org/pdf/1512.02325.pdf 代码：https://github.com/amdegroot/ssd.pytorch 目录 一 介绍 SSD 的特点和贡献： 二 SSD网络结构： 模型的输入与输出 三 模型训练 matching规则 训练目标（损失函数） 强力挖掘（Hard negative mining）  pytorch代...
解码resources时里面是空的_利用Faster_Rcnn训练模型时出现的问题
weixin_39943220的博客
11-30 163
最近学习复现Faster_Rcnn，复现后用自己的数据集训练时出现以下的问题。问题1：'NoneType' object has no attribute 'shape'环境：python3.5 +tensorflow1.1.0+ Keras2.0.3问题：使用cv2.imread读取含有中文路径的图片时，返回None。原因： opencv不接受non-ascii的路径。解决方法： 先用np.fr...
贪吃蛇小游戏——我的第一篇博客
YYYYYYYYZ8的博客
10-30 544
C语言入门者可制作的小游戏欢迎来到我的博客游戏效果思路总代码心得 欢迎来到我的博客 我是大一的新生，这是我的第一篇博客，我也是在最近学完了C语言基础，想在这里分享我制作的第一个小游戏——贪吃蛇。在制作贪吃蛇的过程中，我相当于复习了一遍C语言基础，又学习了一些关于C/C++的内容。希望大家能指正我的代码，我将会虚心接受大家的建议。 游戏效果 可自定义边框大小、目标。 思路 在最初制作贪吃蛇的时候我将其分为了 界面部分 int main()
Faster RCNN loss_rpn_box_reg = nan分析
qq_33824968的博客
07-15 2079
首先整体架构使用的是torchvision0.3版本自带的模块。所以找问题都是从自己写的代码开始。 自己架构是否有问题： 固定一下optimizer = torch.optim.SGD(model.parameters(), lr = lr, momentum=0.9, weight_decay=1e-2) 1：图像处理：根据官方给的手册归一化到了[0, 1]之间应该没问题， 2：标签问题：tar...
rcnn代码实现_faster-rcnn的搬运实现
weixin_39715538的博客
11-21 200
首先声明本人正在21世纪的风口浪尖---学生物的，属于第一次从github上搬运项目，而且第一次就搬运了这么大的项目，所以其中碰到了些只有咱们这种小白可能会遇到的坑。这个faster-rcnn的版本来自于：ruotianluo/pytorch-faster-rcnn​github.com访问不liao的话可能需要相应的工具。这个版本的一个好处就是使用的pytorch的版本稍微高一点（pytorch...
faster RCNN训练出现rpn_box: nan, rcnn_cls: nan, rcnn_box nan
road_of_god的博客
12-07 3127
1.数据集有问题，主要存在Xmax>=width，Xmin<=0,Xmax<Xmin,Ymax>=height,Ymin<=0和Ymax<Ymin等情况，需要在lib/datasets/imdb.py中部分段落更改成以下内容： def _get_widths(self): return [PIL.Image.open(self.image_path_at(i)).size[0] for i in range(self.num_image
faster rcnn第二阶段loss出现nan_斯坦福CVPR2019 GIoU:目标检测任务的新Loss
weixin_42299244的博客
01-04 725
论文题目：Generalized Intersection over Union: A Metric and A Loss for Bounding Box Regression论文链接：https://arxiv.org/abs/1902.09630​arxiv.org代码实现：https://github.com/generalized-iou/g-darknet​github.com项目主页...
神经网络训练过程中出现loss为nan，神经元坏死
joker_xiansen的博客
09-07 6552
最近在手撸Tensorflow2版本的Faster RCNN模型，稍后会进行整理。但在准备好了模型和训练数据之后的训练环节中出现了大岔子，即训练过程中loss变为nan。nan表示not a number类型，任意有关nan的运算结果都将得到nan。这可真是一颗老鼠屎坏了一锅粥，一但一个step中出现loss为nan，所有神经元的参数都将被更新为nan，之后的epochs和step中所有预测结果和模型参数都将为nan。 为了弄清楚nan的原因，我检查了每个组件函数以及所用的训练数据是否有误...
pytorch debug笔记：当训练过程中loss忽然变为 nan
沃·夏澈德的博客
10-27 1076
原因有很多，此处给出是 除0 产生的问题。但排查思路是相通的。方法较原始，但有效。 首先在网络的每个步骤后添加一个if，看是否产生 nan def forward(self, source): source = self.blocks(source) if torch.any(torch.isnan(source)): print(1) source = source.view(source.size()[0], -1) #
深度解析：Faster RCNN网络详解与训练流程
本文是一篇关于深度学习物体检测中的Faster R-CNN（Region-based Convolutional Neural Network）的详细介绍。作者作为计算机视觉领域的初学者，希望通过分享自己的学习心得，帮助其他开发者理解和掌握这一关键技术...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值