FasterRCNN训练自己的数据前40个iter正常，后面突然出现rpn_loss_cls: nan   rpn_loss_box: nan

最新推荐文章于 2023-04-23 17:17:51 发布
最新推荐文章于 2023-04-23 17:17:51 发布
阅读量5.6k 收藏 22
点赞数 7
分类专栏： tensorflow 人工智能 文章标签： FasterRCNN
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/slq1023/article/details/90147042
版权
在使用FasterRCNN-tensorflow训练自定义数据集时，从第40个迭代开始，rpn_loss_cls和rpn_loss_box出现nan值。日志显示在bbox_transform.py文件中有多个RuntimeWarning，提示overflow和invalid value。已尝试调整GPU arch、检查数据集和修改学习率，但问题未解决。最终发现是Network batch size与rpn_batchsize设置不一致导致，修正后问题解决。
摘要由CSDN通过智能技术生成

环境：win7+python3.5+FasterRCNN-tensorflow

源码：https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3.5

问题：FasterRCNN训练自己的数据前40个iter正常后面突然出现rpn_loss_cls: nan   rpn_loss_box: nan，log如下：

iter: 10 / 40000, total loss: 1.628789
 >>> rpn_loss_cls: 0.594060
 >>> rpn_loss_box: 1.034645
 >>> loss_cls: 0.000085
 >>> loss_box: 0.000000

speed: 0.315s / iter
iter: 20 / 40000, total loss: 4.250577
 >>> rpn_loss_cls: 1.961701
 >>> rpn_loss_box: 2.258930
 >>> loss_cls: 0.029946
 >>> loss_box: 0.000000

speed: 0.228s / iter
iter: 30 / 40000, total loss: 2.831758
 >>> rpn_loss_cls: 0.598376
 >>> rpn_loss_box: 0.246269
 >>> loss_cls: 1.368618
 >>> loss_box: 0.61

最低0.47元/天 解锁文章
梦飞天
关注
专栏目录
加载sklearn加州房价数据集出错 housing = fetch_california_housing() HTTPError: HTTP Error 403: Forbidden解决方案
weixin_43178406的博客
01-05 8万+
本文主要介绍了加载sklearn加利福尼亚州房价数据集出错 HTTPError: HTTP Error 403: Forbidden的解决方案，希望能对新手有所帮助。 文章目录 1. 问题描述 2. 解决方案
Mask Scoring RCNN训练自己的数据
跟随技术的脚步-linolzhang的专栏
07-30 5895
一. 代码准备 基于pytorch。 mask scoring rcnn 代码参考：【github】 mask rcnn benchmark 【github】 二. 环境安装 1. 基于conda创建pytorch环境： conda create -npytorch python=3.7.4 conda install ipython conda inst...
FasterRCNN训练自己的数据前20次iter正常，后面突然出现Unknown: Exception
slq1023的博客
05-12 1395
环境：win7+python3.5.2(anaconda4.2.9)+FasterRCNN-tensorflow1.12 源码：https://github.com/dBeker/Faster-RCNN-TensorFlow-Python3.5 问题：FasterRCNN训练自己的数据前40个iter正常后面突然出现Unknown: Exception，log如下： iter: 10 / 4...
Faster RCNN loss_rpn_box_reg = nan分析
qq_33824968的博客
07-15 2081
首先整体架构使用的是torchvision0.3版本自带的模块。所以找问题都是从自己写的代码开始。 自己架构是否有问题： 固定一下optimizer = torch.optim.SGD(model.parameters(), lr = lr, momentum=0.9, weight_decay=1e-2) 1：图像处理：根据官方给的手册归一化到了[0, 1]之间应该没问题， 2：标签问题：tar...
faster RCNN训练出现rpn_box: nan, rcnn_cls: nan, rcnn_box nan
road_of_god的博客
12-07 3131
1.数据集有问题，主要存在Xmax>=width，Xmin<=0,Xmax<Xmin,Ymax>=height,Ymin<=0和Ymax<Ymin等情况，需要在lib/datasets/imdb.py中部分段落更改成以下内容： def _get_widths(self): return [PIL.Image.open(self.image_path_at(i)).size[0] for i in range(self.num_image
faster rcnn中损失函数（三）——理解faster-rcnn中计算rpn_loss_cls&rpn_loss_box的过程
热门推荐
Snoopy_Dream
11-13 1万+
首先感想来源与pytorch的rpn.py。 我们都知道，rpn通过制作lable和targe_ shift来构造rpn loss的计算。那具体是怎么构造的呢? 首先rpn_loss_cls计算： 我们应该首先想到的是： rpn_loss_cls = F.cross_entropy(rpn_cls_score, rpn_label) 维度分析 cross_entropy要求输入是Vari...
FasterRCNN训练时total Loss 出现 NaN，或者出现Pdb问题
nuomijia的博客
04-16 769
问题描述：FasterRCNN训练时total Loss 出现 NaN，或者出现Pdb问题“keep_inds = np.append(fg_inds, bg_inds) (Pdb) 问题解决方案： 在文件夹\lib\datasets\下，将文件pascal_voc.py中函数_load_pascal_annotation中的： x1 = float(bbox.find(‘xmin’).text) - 1 y1 = float(bbox.find(‘ymin’).text) - 1 x2 = float(b
rpn_loss
fanzy1234的博客
04-08 694
#!/usr/bin/env python3 # -*- coding: utf-8 -*- """ Created on Sat Apr 6 21:39:25 2019 @author: fanzy """ import keras import keras.layers as KL import keras.backend as K import tensorflow as tf fro...
Faster-RCNN_TF的loss曲线可视化（tensorflow版本，Faster RCNN的loss曲线可视化）
风轻扬逍遥子的博客
04-03 9396
我用的Faster-RCNN是tensorflow版本，github地址：Faster-RCNN_TF 查到网上的loss曲线都是直接从log的txt里读取，我的代码不生成txt，所以得自己改。我的思路是每cfg.TRAIN.SNAPSHOT_ITERS步生成一个csv文件，最后读取这个文件再画图。 具体操作如下： 1. 修改train.py 在/lib/fast rcnn/train...
【detectron】FPN网络中RPN构建与相应的损失函数
Mr_health的博客
11-29 2342
1.RPN的构建 对RPN的构建在FPN.py的add_fpn_rpn_output函数中 def add_fpn_rpn_outputs(model, blobs_in, dim_in, spatial_scales): """Add RPN on FPN specific outputs.""" """ blobs_in： [BlobReference("...
Tensorflow如何在FasrerRCNN训练中断后重启
To_be_a_Phd的博客
03-14 1942
本来应该是昨晚上电脑就能跑完第一个train.py,但是今天早上刚来，看见电脑停在账户登陆界面，我就感觉大事不妙了 自己昨天的训练结果难道就白跑了吗？怎么能甘心！在网上搜索了一些教程都没有帮我解决问题，不过起到了很好的参考作用，首先我发现了这个目录下 “..\FastRCNN\Faster-RCNN-TensorFlow-Python3.5-master\default\voc_2007_tr...
tensorflow深度学习之断点续训
一位安分的码农的博客
03-02 633
代码运行效果 代码所在文件夹中多了一个checkpoint文件（忽略文件夹中的其他文件，我懒得删） 代码 import tensorflow as tf import os mnist = tf.keras.datasets.mnist (x_train, y_train), (x_test, y_test) = mnist.load_data() x_train, x_test = x_train / 255.0, x_test / 255.0 model = tf.keras.models.Seq
一学就会的tensorflow断点续训（原理+代码详解）
qq_44722174的博客
09-25 4720
一、什么叫做断点续训 断点续训的意思是因为某些原因还没有训练完成就被中断，下一次训练可以在上一次的训练基础上继续进行。这种方式对于需要长时间训练的模型而言非常友好 二、模型文件解析 checkpoint文件会记录保存信息，通过它可以定位最新保存的模型； .meta文件保存了当前NN的网络结构：tf.train.import_meta_graph(‘MODEL_NAME.ckpt-1174.meta’) .data文件保存了当前参数名和值，网络权重、偏置、操作等 .index文件保存了辅助索引信息，是一个不
贪吃蛇小游戏——我的第一篇博客
YYYYYYYYZ8的博客
10-30 547
C语言入门者可制作的小游戏欢迎来到我的博客游戏效果思路总代码心得 欢迎来到我的博客 我是大一的新生，这是我的第一篇博客，我也是在最近学完了C语言基础，想在这里分享我制作的第一个小游戏——贪吃蛇。在制作贪吃蛇的过程中，我相当于复习了一遍C语言基础，又学习了一些关于C/C++的内容。希望大家能指正我的代码，我将会虚心接受大家的建议。 游戏效果 可自定义边框大小、目标。 思路 在最初制作贪吃蛇的时候我将其分为了 界面部分 int main()
tensorflow如何继续训练之前保存的模型（断点续训）（断点训练）
TEDDY的博客
02-20 3715
方法 .meta文件保存了当前图结构 .index文件保存了当前参数名 .data文件保存了当前参数值
解决模型训练loss nan的问题
u014479551的专栏
08-03 7120
用mmdetection训练检测模型时，出现了bbox_loss和cls_loss nan的问题，记录排查原因的过程，以及最终的解决。现象是，loss 在正常降低的过程中，突然跳变nan，整体震荡下降。 1. 调小学习率 一般出现loss nan，无非是网络传输的梯度过大导致的，所以首先考虑减小模型的学习率。可是学习率调小100倍甚至10000倍，还出现nan的情况，所以考虑其他原因导致。先排除学习率的影响，将学习率设为0，loss依旧nan，然后就可以尝试下一个了。 2. 梯度裁剪 在学习率为0的
训练网络时损失值loss出现nan值
weixin_46832764的博客
12-08 437
问题分析：nan代表无穷大或者非数值，一般在分母为0或log（0）出现。解决方案：给0值加上一个极小的数。
Faster-rcnn的网络及损失函数
Sircollector的博客
04-23 591
38。
def evaluate_loss(net, data_iter, loss):
最新发布
06-01
这是一个函数定义，其中包含三个参数： - net: 表示神经网络模型 - data_iter: 表示数据迭代器，用于读取训练数据 - loss: 表示损失函数，用于计算模型预测结果与真实标签之间的误差 该函数的作用是评估模型在给定数据集上的损失值，具体实现会对数据集中的每个样本进行预测，然后计算预测结果与真实标签之间的误差，最终将所有样本的误差进行平均得到模型在该数据集上的损失值。
评论 7
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值