yolov3出现nun情况解决过程笔记

情况说明

相同的数据集用yolov3tiny跑了一遍，结果还好，想换成yolov3看看效果会不会有提升。（均匀GPU加速）

Using cuda _CudaDeviceProperties(name='GeForce RTX 2060', major=7, minor=5, total_memory=6144MB, multi_processor_count=30)

yolov3tiny的各参数如下

train.py

epochs=10,
batch_size=16,
accumulate=1,

yolov3-tiny.cfg

batch=1
subdivisions=1
width=416
height=416

其他所有参数都是原来的模型里的参数。

用同样的参数跑YOLOv3模型（GPU暂时还扛得住，在这个batch下）

 然后就nan了，第227次，开始爆炸，然后nan

尝试解决

情况1：GPU替换问题

求助：YOLOv3中loss为nan_谋天下的博客-CSDN博客

很明显我之前在GPU跑成功过，应该不是这个问题。

情况2：数据集或者标签问题

关于YOLO训练自己的数据出现nan的问题_pts_mjt的博客-CSDN博客_yolov3训练出现nan

同上，跑成功过也不是这个问题。也不是图片大小问题，不用修改cfg的图片尺寸。

情况3：batch和subdivision调节问题

yolov3训练模型的时候avg为Nan的一种解决方法_雅痞匪徒(Nike)的博客-CSDN博客

调数值

batch=64
subdivisions=8

在第271次爆炸，nan

 情况4：权重文件问题

Yolov3 出现avg loss nan的情况_ystsaan的博客-CSDN博客

 结果最后使用之前训练我所需要检测图片已经训练过的权重当做detector train的起始权重，不用yolov3 darknet作者提供的darknet53.conv.74权重文件，avg loss正常下降。说明起始权重所对应图片集与我所要训练的图片集若有较大差异，训练会出现问题

我更换了yolov3-tiny.cfg文件，仍旧nan

 情况5：修改步长

用yolov3 VOC训练自己的数据时出现的问题及解决方法_小蜗zdh的博客-CSDN博客

原来程序的步长

steps=40000,45000
scales=.1,.1

修改后步长

steps=100,10000,70000,80000,90000        # 训练到相应次数后学习率变化
scales=10,10,.1,.1,.1   

也不行。。。。 

 情况6：修改学习率（成功）

炼丹手册——NaN值问题_爱做菜的炼丹师-CSDN博客

学习率大造成loss异常

学习率太大有可能引起梯度值过大产生梯度爆炸从而出现NaN值，学习率的大小通常和神经网络的深度有一定关系，由于网络越深在反向传播时链式法则的求导会不断放大梯度所以建议学习率越小，针对这个问题可以采用以下几个解决方法：

调节学习率，把lr以10倍下降的方式结合自身网络深度进行测试；
调节网络结构，梯度值异常增长会随着网络深度的而加剧，减少网络深度或者采用Highway等方式设计网络；
加入梯度裁剪，每当梯度达到一定的阈值，就把它拉回一个小的数值
————————————————
版权声明：本文为CSDN博主「思绪零乱成海」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。
原文链接：https://blog.csdn.net/neil3611244/article/details/113354996

把学习率从0.001降到了0.005，就可以跑起来了

对应的迭代次数从200加到400