YOLOv5系列(十八) 本文(1.1万字) | 解析训练调参train | 逐行代码注释解析

141 篇文章 7 订阅

已下架不支持订阅


点击进入专栏:
《人工智能专栏》 Python与Python | 机器学习 | 深度学习 | 目标检测 | YOLOv5及其改进 | YOLOv8及其改进 | 关键知识点 | 各种工具教程


代码函数调用关系图(全网最详尽-重要)

因文档特殊,不能在博客正确显示,请移步以下链接!

图解YOLOv5_v7.0代码结构与调用关系(点击进入可以放大缩小等操作)

预览:
在这里插入图片描述

0.首次运行常见错误

刚拿到代码可以运行train.py文件看看,一般都会出现这个错误:

OMP: Hint This means that multiple copies of the OpenMP runtime have been linked into the program. That is dangerous, since it can degrade performance or cause incorrect results. The best thing to do is to ensure that only a single OpenMP runtime is linked into the process, e.g. by avoiding static linking of the OpenMP runtime in any library. As an unsafe, unsupported, undocumented workaround you can set the environment variable KMP_DUPLICATE_LIB_OK=TRUE to allow the program to continue to execute, but that may cause crashes or silently produce incorrect results. For more information, please see http://www.intel.com/software/products/support/.

解决方案:在train.py文件里加入以下代码:

import os
os.environ['KMP_DUPLICATE_LIB_OK']='TRUE'

1.train.py参数解析

首先还是打开根目录下的 train.py,直接看 parse_opt()

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-X9bHIwES-1650883082076)(YOLOv5_v6.1调参002.assets/image-20220425130731759.png)]


1.1"–weights"

在这里插入图片描述

指定预训练权重路径;如果这里设置为空的话,就是自己从头开始进行训练;下图是官方提供的预训练权重。

在这里插入图片描述


1.2"–cfg"

在这里插入图片描述

指定模型配置文件路径的;源码里面提供了这 5 5 5 个配置文件,配置文件里面指定了一些参数信息和模型的结构信息。
在这里插入图片描述

在这里插入图片描述


1.3"–data"

在这里插入图片描述

数据集对应的参数文件;里面主要存放数据集的类别和路径信息。

在这里插入图片描述

数据集有三大功能: 训练、验证和测试
训练最好理解,是拟合模型的过程,模型会通过分析数据、调节内部参数从而得到最优的模型效果。
验证即验证模型效果,效果可以指导我们调整模型中的超参数(在开始训练之前设置参数,而不是通过训练得到参数),通常会使用少量未参与训练的数据对模型进行验证,在训练的间隙中进行。
测试的作用是检查模型是否具有泛化能力(泛化能力是指模型对训练集之外的数据集是否也有很好的拟合能力)。通常会在模型训练完毕之后,选用较多训练集以外的数据进行测试。

YOLO源码里面提供了 9 9 9 种数据集的配置文件。

在这里插入图片描述


1.4"–hyp"

在这里插入图片描述

指定超参数文件的路径;超参数里面包含了大量的参数信息,同样提供了 5 5 5 个。

在这里插入图片描述

在这里插入图片描述


1.5"–epochs"

在这里插入图片描述

训练的轮数;默认为300轮,显示效果是0-299


1.6"–batch-size"

在这里插入图片描述

每批次的输入数据量;default=-1将时自动调节batchsize大小。

这里说一下 epochbatchsizeiteration三者之间的联系
1、batchsize是批次大小,假如取batchsize=24,则表示每次训练时在训练集中取24个训练样本进行训练。
2、iteration是迭代次数,1个iteration就等于一次使用24(batchsize大小)个样本进行训练。
3、epoch:1个epoch就等于使用训练集中全部样本训练1次。


1.7 “–imgsz, --img, --img-size”

在这里插入图片描述

训练图片的像素大小;输入默认 640 × 640
图片越大,训练速度越慢。
图像在训练时resize同样花费时间的。


1.8"–rect"

在这里插入图片描述

是否采用矩阵推理的方式去训练模型;

所谓矩阵推理就是不再要求你训练的图片是正方形了;矩阵推理会加速模型的推理过程,减少一些冗余信息。

下图分别是方形推理方式和矩阵推理方式。

在这里插入图片描述

在这里插入图片描述


1.9"–resume"

在这里插入图片描述

断点续训:即是否在之前训练的一个模型基础上继续训练,default 值默认是 False;如果想采用断点续训的方式,这里我推荐一种写法,即首先将 default=False 改为 default=True

随后在终端中键入如下指令:

python train.py --resume D:\Pycharm_Projects\yolov5-6.1-4_23\runs\train\exp19\weights\last.pt

D:\Pycharm_Projects\yolov5-6.1-4_23\runs\train\exp19\weights\last.pt为你上一次中断时保存的pt文件路径 。

输入指令后就可以看到模型是继续从上次结束时开始训练的:

在这里插入图片描述


1.10"–nosave"

在这里插入图片描述

是否只保存最后一轮的pt文件;我们默认是保存 best.ptlast.pt 两个的。

在这里插入图片描述


1.11"–noval"

在这里插入图片描述

只在最后一轮测试;正常情况下每个epoch都会计算mAP,但如果开启了这个参数,那么就只在最后一轮上进行测试,做科研时不建议开启,因为会看不到曲线变化情况。


1.12"–noautoanchor"

在这里插入图片描述

是否禁用自动锚框;默认是开启的,自动锚点的好处是可以简化训练过程;

yolov5中预先设定了一下锚定框,这些锚框是针对coco数据集的,其他目标检测也适用,可以在models/yolov5.文件中查看,例如如图所示,这些框针对的图片大小是640640。这是默认的anchor大小。需要注意的是在目标检测任务中,一般使用大特征图上去检测小目标,因为大特征图含有更多小目标信息,因此大特征图上的anchor数值通常设置为小数值,小特征图检测大目标,因此小特征图上anchor数值设置较大。

在这里插入图片描述

在yolov5 中自动锚定框选项,训练开始前,会自动计算数据集标注信息针对默认锚定框的最佳召回率,当最佳召回率大于等于0.98时,则不需要更新锚定框;如果最佳召回率小于0.98,则需要重新计算符合此数据集的锚定框。
在parse_opt设置了默认自动计算锚框选项,如果不想自动计算,可以设置这个,建议不要改动。


1.13"–noplots"

在这里插入图片描述
开启这个参数后将不保存绘图文件。


1.14"–evolve"

在这里插入图片描述

遗传超参数进化;yolov5使用遗传超参数进化,提供的默认参数是通过在COCO数据集上使用超参数进化得来的(也就是下图这些参数)。由于超参数进化会耗费大量的资源和时间,所以建议大家不要动这个参数。

遗传算法是利用种群搜索技术将种群作为一组问题解,通过对当前种群施加类似生物遗传环境因素的选择、交叉、变异等一系列的遗传操作来产生新一代的种群,并逐步使种群优化到包含近似最优解的状态,遗传算法调优能够求出优化问题的全局最优解,优化结果与初始条件无关,算法独立于求解域,具有较强的鲁棒性,适合于求解复杂的优化问题,应用较为广泛。

在这里插入图片描述


1.15"–bucket"

在这里插入图片描述

谷歌云盘;通过这个参数可以下载谷歌云盘上的一些东西,但是现在没必要使用了。


1.16"–cache"

在这里插入图片描述

是否提前缓存图片到内存,以加快训练速度,默认False;开启这个参数就会对图片进行缓存,从而更好的训练模型。


1.17"–image-weights"

在这里插入图片描述

是否启用加权图像策略,默认是不开启的;主要是为了解决样本不平衡问题;开启后会对于上一轮训练效果不好的图片,在下一轮中增加一些权重;


1.18"–device"

在这里插入图片描述

设备选择;这个参数就是指定硬件设备的,系统会自己判断的。


1.19"–multi-scale"

在这里插入图片描述

是否启用多尺度训练,默认是不开启的;多尺度训练是指设置几种不同的图片输入尺度,训练时每隔一定iterations随机选取一种尺度训练,这样训练出来的模型鲁棒性更强。

多尺度训练在比赛中经常可以看到他身影,是被证明了有效提高性能的方式。输入图片的尺寸对检测模型的性能影响很大,在基础网络部分常常会生成比原图小数十倍的特征图,导致小物体的特征描述不容易被检测网络捕捉。通过输入更大、更多尺寸的图片进行训练,能够在一定程度上提高检测模型对物体大小的鲁棒性。


1.20"–single-cls"

在这里插入图片描述

设定训练数据集是单类别还是多类别;默认为False多类别。


1.21"–optimizer"

在这里插入图片描述

选择优化器;默认为SGD,可选SGDAdamAdamW


1.22"–sync-bn"

在这里插入图片描述

是否开启跨卡同步BN;开启参数后即可使用SyncBatchNormGPU 进行分布式训练。


1.23"–workers"

在这里插入图片描述

最大worker数量;这里经常出问题,Windows系统报错时可以设置成 0 0 0。


1.24"–project"

在这里插入图片描述

指定训练好的模型的保存路径;默认在runs/train

在这里插入图片描述


1.25"–name"

在这里插入图片描述

设定保存的模型文件夹名,默认在exp


1.26"–exist-ok"

在这里插入图片描述

每次预测模型的结果是否保存在原来的文件夹;如果指定了这个参数的话,那么本次预测的结果还是保存在上一次保存的文件夹里;如果不指定就是每次预测结果保存一个新的文件夹下。


1.27"–quad"

在这里插入图片描述

官方发布的开启这个功能后的实际效果:

  • 好处是在比默认640大的数据集上训练效果更好。
  • 副作用是在640大小的数据集上训练效果可能会差一些。

1.28"–cos-lr"

在这里插入图片描述

是否开启余弦学习率;

在这里插入图片描述
这是我不采用cos-lr时学习率的曲线:
在这里插入图片描述
开启后的学习率应该是这样子:
在这里插入图片描述


1.29"–label-smoothing"

在这里插入图片描述

是否对标签进行平滑处理,默认是不启用的;

在训练样本中,我们并不能保证所有sample都标注正确,如果某个样本标注错误,就可能产生负面印象,如果我们有办法“告诉”模型,样本的标签不一定正确,那么训练出来的模型对于少量的样本错误就会有“免疫力”采用随机化的标签作为训练数据时,损失函数有1-ε的概率与上面的式子相同,比如说告诉模型只有0.95概率是那个标签。


1.30"–patience"

在这里插入图片描述

早停;如果模型在default值轮数里没有提升,则停止训练模型。


1.31"–freeze"

在这里插入图片描述

指定冻结层数量;可以在yolov5s.yaml中查看主干网络层数。

冻结训练是迁移学习常用的方法,当我们在使用数据量不足的情况下,通常我们会选择公共数据集提供权重作为预训练权重,我们知道网络的backbone主要是用来提取特征用的,一般大型数据集训练好的权重主干特征提取能力是比较强的,这个时候我们只需要冻结主干网络,fine-tune后面层就可以了,不需要从头开始训练,大大减少了实践而且还提高了性能。

在这里插入图片描述
例如如下指令,代表冻结整个主干,前三层的编号是0,1,2

python train.py --freeze 10

这里分享一个对比冻结效果的项目
这里是项目的部分截图
在这里插入图片描述


1.32"–save-period"

在这里插入图片描述

用于设置多少个epoch保存一下checkpoint


1.33"–seed"

这是v6.2版本更新的一个非常重要的参数,如果你使用torch>=1.12.0的单GPU训练, 那你的训练结果完全可再现。


1.34"–local_rank"

在这里插入图片描述

DistributedDataParallel 单机多卡训练,单GPU设备不需要设置;


1.35"–entity"

在这里插入图片描述

在线可视化工具,类似于tensorboard


1.36"–upload_dataset"

在这里插入图片描述

是否上传datasetwandb tabel(将数据集作为交互式 dsviz表 在浏览器中查看、查询、筛选和分析数据集) 默认False


1.37"–bbox_interval"

在这里插入图片描述

设置界框图像记录间隔 Set bounding-box image logging interval for W&B 默认 -1


1.38"–artifact_alias"

在这里插入图片描述

这个功能作者还未实现。


小彩蛋

当我们设置完参数以后,可以通过如下的方式来查看参数具体的值,这里拿detect.py文件举例

第一步,在这个位置打个断点
在这里插入图片描述

第二步,点击“debug”
在这里插入图片描述

第三步,点击“步过”

在这里插入图片描述

最后一步,展开opt就可以看到我们的参数信息啦
在这里插入图片描述


  • 7
    点赞
  • 15
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论

已下架不支持订阅

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

小酒馆燃着灯

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值