YOLO v3——训练自己的VOC数据及训练技巧

最新推荐文章于 2024-06-23 11:30:00 发布
最新推荐文章于 2024-06-23 11:30:00 发布
阅读量1.1w 收藏 43
点赞数 7
分类专栏： 神经网络 文章标签： yolo 训练 VOC数据集
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40599145/article/details/88750300
版权

目录

 

一、安装darknet

二、编译（这里直接安装ｃｐｕ版本作为例子）

三、制作数据集

四、修改训练配置文件

五、开始训练

六、训练过程中参数含义

七、训练小窍门

一、安装darknet

$ git clone https://github.com/pjreddie/darknet  
$ cd darknet

二、编译（这里直接安装ｃｐｕ版本作为例子）

 make

GPU版本参考官网 https://pjreddie.com/darknet/install/；关于CUDA安装参考https://mp.csdn.net/postedit/84945540

编译成功后执行：

$ ./darknet

输入如下即为安装成功： 

三、制作数据集

1、进入 darknet-master/scripts  目录里创建类似VOC数据集下的这几个文件夹

主要使用 Annotations、ImageSets里的Main  和  JPEGImages  这三个文件夹

２、文件配置介绍

１）Annotations文件夹里存放xml标签文件：

）

２）ImageSets里的Main文件夹里存放训练集和验证集：

这两个文件里面的内容只需填要图片的名称即可，不需要后缀名

比如我的图片是：00001.jpg，那么我只要写00001即可

traint.txt格式如下：（text.txt一样的格式）

３）JPEGImages文件夹里存放训练集和验证集的图片文件

全部图片放在一起即可，到时程序会根据你的train.txt和test.txt去找你的图片和对应的标签文件，所以要保证同一张图片对应的标签文件的名称一样

３、利用scripts目录下的voc_label.py脚本生成到时候训练时调用的图片关联txt文件

　　这里的voc_label.py要修改两个地方

＃＃sets那个地方改成刚刚在Ｍａｉｎ里面添加了那个文件的名称

＃＃Ｃlasses那个地方列表里的内容改成你自己数据的类的名称

以及注释掉最后那两行

整个文件是这样子的

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

sets=[('2007', 'train'), ('2007', 'test')]

classes = ["P", "G"]


def convert(size, box):
    dw = 1./(size[0])
    dh = 1./(size[1])
    x = (box[0] + box[1])/2.0 - 1
    y = (box[2] + box[3])/2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(year, image_id):
    in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id))
    out_file = open('VOCdevkit/VOC%s/labels/%s.txt'%(year, image_id), 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult)==1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()

for year, image_set in sets:
    if not os.path.exists('VOCdevkit/VOC%s/labels/'%(year)):
        os.makedirs('VOCdevkit/VOC%s/labels/'%(year))
    image_ids = open('VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()
    list_file = open('%s_%s.txt'%(year, image_set), 'w')
    for image_id in image_ids:
        list_file.write('%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg\n'%(wd, year, image_id))
        convert_annotation(year, image_id)
    list_file.close()

#os.system("cat 2007_train.txt 2007_val.txt 2012_train.txt 2012_val.txt > train.txt")
#os.system("cat 2007_train.txt 2007_val.txt 2007_test.txt 2012_train.txt 2012_val.txt > train.all.txt")

 然后执行voc_label.py

$ python voc_label.py

这时会生成2个东西，这两个东西后面要用到的

第一个，在 darknet-master/scripts/VOCdevkit/VOC2007 目录下得到labels文件夹，这时我们的VOC2007已经存在四个文件夹了

我们打开其中一个label里面的文件看看

＃＃前面第一个数字０代表的就是前面我们在classes列表里定义的第一个标签类—Ｐ

＃＃后面的4个数字就是之前在xml文件里的ground truth框框的xmin xmax ymin ymax的坐标啦，这里自动将坐标除以图像的宽和高进行归一化了

第二个，在 darknet-master/scripts 目录下，会得到 2007_train.txt 和 2007_test.txt 这两个文件：

我们打开2007_train.txt文件看看，这里面是训练集图片的具体路径位置，它将会作为后期训练的一个索引文件来找到那些数据集

到这里数据集就准备好了

四、修改训练配置文件

１、修改训练初始化超参数（我们这里以yolov3-tiny为例子）

/darknet-master/cfg  目录下有很多版本的cfg网络文件，我们打开yolov3-tiny.cfg进行超参数设置

下面我对每个参数做了注释，其实要更改的地方是　　##注意##　　所在行的参数

[net]
# Testing          ### 测试模式    
#batch=1
#subdivisions=1
# Training        ### 训练模式，每次前向的图片数目 = batch/subdivisions 
batch=64           ###这个地方改成64。  ##注意##这里  batch=64                
subdivisions=2                         ##注意##这里  subdivisions=2    
width=720        ### 网络的输入宽、高、通道数
height=1280
channels=3
momentum=0.9       ### 动量 
decay=0.0005           ### 权重衰减
angle=0
saturation = 1.5      ### 饱和度
exposure = 1.5          ### 曝光度
hue=.1                 ### 色调

learning_rate=0.001        ### 学习率  
burn_in=1000                ### 学习率控制的参数  
max_batches = 10000         ### 迭代次数   ##注意##　这里训练次数一般填10000到50000次
policy=steps                 ### 学习率策略
steps=400000,450000        ### 学习率变动步长 
scales=.1,.1            ### 学习率变动因子

[convolutional]
batch_normalize=1        ### BN
filters=16            ### 卷积核数目
size=3                ### 卷积核尺寸
stride=1            ### 卷积核步长
pad=1                ### pad
activation=leaky        ### 激活函数

[maxpool]            ###最大池化层
size=2
stride=2

[convolutional]
batch_normalize=1
filters=32
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=64
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=128
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=256
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=2

[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky

[maxpool]
size=2
stride=1

[convolutional]
batch_normalize=1
filters=1024
size=3
stride=1
pad=1
activation=leaky

###########

[convolutional]
batch_normalize=1
filters=256
size=1
stride=1
pad=1
activation=leaky

[convolutional]
batch_normalize=1
filters=512
size=3
stride=1
pad=1
activation=leaky

[convolutional]
size=1
stride=1
pad=1
filters=21             ##注意##　这里更改为（classes + 5）x3
activation=linear

[yolo]
mask = 3,4,5
anchors = 10,14,  23,27,  37,58,  81,82,  135,169,  344,319
classes=2        ###类别  ##注意##　这里类别填你的标注类别有多少类
num=6
jitter=.3
ignore_thresh = .7
truth_thresh = 1
random=1         ###如果显存很小，将random设置为0，关闭多尺度训练

[route]
layers = -4

[convolutional]
batch_normalize=1
filters=128            ###更改为filters =（classes + 5）x3
size=1
stride=1
pad=1
activation=leaky

[upsample]
stride=2

[route]
layers = -1, 8

[convolutional]
batch_normalize=1
filters=21        ###更改为filters =（classes + 5）x3   ##注意##　这里更改为（classes + 5）x3
size=3
stride=1
pad=1
activation=leaky

[convolutional]
size=1
stride=1
pad=1
filters=21        ###更改为filters =（classes + 5）x3  ##注意##　这里更改为（classes + 5）x3
activation=linear

[yolo]
mask = 0,1,2
anchors = 10,14,  23,27,  37,58,  81,82,  135,169,  344,319
classes=2         ###类别   ##注意##　这里类别填你的标注类别有多少类
num=6
jitter=.3        ### 数据扩充的抖动操作
ignore_thresh = .7        ###文章中的阈值1
truth_thresh = 1        ###文章中的阈值2
random=1        ###如果显存很小，将random设置为0，关闭多尺度训练

２、训练参数优化

　在darknet目录下创建两个文件：voc.names　和　voc.data

voc.names文件：每一个类别单独一行写上去

voc.data文件：

classes = 2　　　　＃类的数目
train  = /darknet/scripts/2007_train.txt　　＃刚刚2007_train.txt的路径
valid  = /darknet/scripts/2007_test.txt　　＃刚刚2007_test.txt的路径
names = /darknet/voc.names　　　　　＃刚刚voc.names文件的路径
backup = /darknet/backup　　　　　　　＃到时候训练出来模型权重所在文件夹

五、开始训练

１、下载预训练权重文件

wget http://pjreddie.com/media/files/darknet53.conv.74

２、在darknet中打开终端输入＼以下命令即可开始训练

./darknet detector train voc.data cfg/yolov3-tiny.cfg darknet53.conv.74

六、训练过程中参数含义

  1. Region xx: cfg文件中yolo-layer的索引；
  2. Avg IOU:当前迭代中，预测的box与标注的box的平均交并比，越大越好，期望数值为1；
  3. Class: 标注物体的分类准确率，越大越好，期望数值为1；
  4. obj: 越大越好，期望数值为1；
  5. No obj: 越小越好；
  6. .5R: 以IOU=0.5为阈值时候的recall; recall = 检出的正样本/实际的正样本
  7. 0.75R: 以IOU=0.75为阈值时候的recall;
  8. count:正样本数目。

七、训练小窍门

１、断点重新训练

如果从某次断了重新开始训练，只需要把 darknet53.conv.74 换成你的某一次的weights即可

例如：把命令行中的参数 darknet53.conv.74  改成  yolov3-tiny_1000.weights  即可

２、修改cfg/xxx.cfg，首先修改分类数为自己的分类数，然后注意开头部分训练的batchsize和subdivisions被注释了，如果需要自己训练的话就需要去掉，测试的时候需要改回来，最后可以修改动量参数为0.99和学习率改小，这样可以避免训练过程出现大量nan的情况，最后把每个[yolo]前的filters改成18这里怎么改具体可以看这个issule:https://github.com/pjreddie/darknet/issues/582, 改完之后就可以训练我们的模型了

３、若出现显存不足，可修改batch的大小和取消random多尺度，默认情况下random=1，取消将random=0，一共在3处地方。

 

linzs.online
关注
  • 7
    点赞
  • 踩
  • 43
    收藏
    觉得还不错? 一键收藏
  • 10
    评论
专栏目录
YOLO 训练VOC数据集
xueruixuan的专栏
12-14 1833
YOLO v2训练VOC数据集
YOLOv3训练自己的VOC数据(一)——前期准备工作
走不到的路就算了吧
09-30 2569
yolo官网 https://pjreddie.com/darknet/yolo/ 下载darknet 以及VOCdevkit 按官网跑通 准备自己的VOC数据集，可以在本地先建立一个如下格式的文件夹 JPEGImages和Annotations中文件名是相互对应的 如 1.jpg对应的标注是1.xml 可以使用LabelImage工具快捷生成xml文件 也可以将原本已标注的1.txt通过代...
【YOLOv3】在 VOC 上训练 yolov3
学习 & 分享 ~
06-02 3259
下载源代码： YOLOv3 项目源代码 也可以直接输入命令进行下载 终端进入 darknet 文件夹下 如果使用 CPU 直接编译源代码，无须修改 Makefile 文件。如果使用GPU训练，需要修改 Makefile 如果调用摄像头，还需要设置 更改 NVCC 为自己的 CUDA 安装路径： 更改 CUDA 的路径： 在 Makefile 修改自己的 CUDA 安装路径。更改前默认路径为： 修改后为： 修改 ARCH： 要将 GPU 架构和本机 GPU 型号对应起来，比如 GTX 10
YOLOV5---数据集格式转化及训练集和验证集划分
q839039228的博客
08-17 1万+
目标检测基础知识学习笔记，侵删
yolov8 模型训练GPU环境配置保姆级教程
最新发布
2401_85328934的博客
06-23 1427
这些大型预训练模型，如GPT-3、BERT、XLNet等，以其强大的语言理解和生成能力，正在改变我们对人工智能的认识。无论您是科研人员、工程师，还是对AI大模型感兴趣的爱好者，这套报告合集都将为您提供宝贵的信息和启示。作为一名热心肠的互联网老兵，我意识到有很多经验和知识值得分享给大家，也可以通过我们的能力和经验解答大家在人工智能学习中的很多困惑，所以在工作繁忙的情况下还是坚持各种整理和分享。如果安装的 cuda 版本大于 pytorch 支持的版本，请选择向下版本的。
YOLOV3训练自己的数据集（VOC数据集格式）
热门推荐
Carroll的博客
04-26 1万+
包括内容： darknet yolov3的下载、配置、测试 制作自己训练集标签（VOC数据集格式） 在yolov3下训练自己的数据集 验证训练结果，进行测试 （一）darknet yolov3的下载、配置、测试： 下载并配置yolo 打开网址：https://pjreddie.com/darknet/yolo/，这是官网给出的使用及训练教程。 下载yolo项目 git clone https:.........
darknet 源码阅读（数据预处理篇)—— voc_label.py
jmu201521121021的博客
01-15 6504
darknet 源码阅读（一）——yolo 数据预处理篇（voc_label.py） 简介 本文都是基于darknet-AB版本源码进行解读。源码链接：https://github.com/AlexeyAB/darknet voc——label.py 是yolo训练前数据预处理一部分，主要功能: 根据VOC数据集 ImageSets\Main目录下的train.txt、test.txt val...
voc数据集_yolov3训练数据集处理(voc_label.py)讲解,小白入门
weixin_39541212的博客
12-11 652
yolov3训练数据label值为"类别, 中心点x坐标比, 中心点y坐标比, 宽度比, 高度比", 后四个比值均为相对于原图的数据比, 取值范围是0到1. 具体操作可查看voc_label.py文件:import xml.etree.ElementTree as ET import pickle import os from os import listdir, getcwd from os.p...
目标检测yolo标签全自动生成（voc_label.py程序修改）
qq_35250841的博客
06-28 3880
最近做了很多目标检测相关的任务，因为任务有时候是客户自己标注的xml格式，需要转换成yolov3使用的txt格式，即一行中包含类别信息和位置信息的模式，这一转换我们通常是使用官方的voc_label.py这个程序完成的，我们先来看一下xml的标注标注格式： <annotation> <folder>ZeHe</folder> <filename>18.PNG</filename> <path>D:\dongwu\ZeHe\18.P
YOLO v3训练自己的数据集.zip
01-02
在这个名为"YOLO v3训练自己的数据集.zip"的压缩包中，包含的"myYOLOv3-master"文件夹很可能是包含了一个完整的YOLO v3自定义数据集训练的项目源码。 首先，训练自己的数据集是机器学习和深度学习项目的关键步骤。...
yolov8训练自己的数据集（源码）.rar
05-09
在这个项目中，你将找到训练自己数据集的源代码，这对于定制化应用非常有用，比如自动驾驶、安防监控、工业检测等领域。让我们深入了解一下YOLOv8及其训练自定义数据集的关键知识点。 1. YOLO（You Only Look Once...
CUHK Occlusion Dataset数据集 yolo格式+VOC格式 包括划分好的训练集和数据集
12-22
CUHK Occlusion Dataset数据集,用于行人检测，做好了yolo格式数据集的训练和划分，同时上传了yolo和voc两个格式的标签集。 包括：1.VOC格式（.xml文件）的数据集 2.yolo格式（.txt文件）的数据集 3.划分好的yolo...
yolo训练自己数据集.txt
05-16
yolo训练自己数据集参考链接集合，亲测好用
KITTI数据集转化为VOC数据集，用于yolo训练.rar
04-17
本教程将详细介绍如何将KITT数据集转换为符合YOLO训练格式的PASCAL VOC数据集。 首先，KITT数据集是一个广泛用于自动驾驶和计算机视觉研究的数据集，包含了丰富的图像和激光雷达数据，主要应用于目标检测、跟踪、...
yolov3网络训练cfg修改注意事项
计算机视觉算法开发与落地
08-04 868
10,14, 代表了网络预测框宽度和高度，10代表rect的高度，14代表rect宽度，即在图像中寻找宽高比为14/10的矩阵，计算它的置信度。（2）网络输入的大小影响最终的精度和推理的速度，如果对精度要求不高，但对速度有要求，一般把网络输入的width和height调小一点（下图8,9行为网络的输入），（6）锚点设置的六个宽高比应尽可能的不同，以增加检测的稳定性和精度，从锚点设置的默认值即可看出。（3）anchor一般都要修改，如果不改，最终的精度会有所影响，最好修改下。但其值必须是32的整数倍。
darknet - voc.names
既然选择了远方 便只顾风雨兼程 - 永强
11-19 828
darknet - voc.names https://github.com/pjreddie/darknet/blob/master/data/voc.names data/voc.names aeroplane bicycle bird boat bottle bus car cat chair cow diningtable dog horse motorbike person pottedplant sheep sofa train tvmonitor 15 - person backpack [
YOLOv5训练自己的数据集
weixin_52950958的博客
06-28 2292
YOLOv5训练自己的数据集
Yolov3 darknet ：voc_label.py 详解
weixin_42932072的博客
12-04 1551
在darknet版本的yolov3中，我们要将每张图片对应的XML文件转换为一个txt文件，包含边框的信息： import xml.etree.ElementTree as ET import os sets = [('2012', 'train'), ('2012', 'val'), ('2007', 'train'), ('2007', 'val'), ('2007', 'test')] ...
yolo v3制作自己的数据_深入理解YOLO v3实现细节 - 第1篇 数据预处理
weixin_39921224的博客
11-17 475
深入理解YOLO v3实现细节系列文章，是本人根据自己对YOLO v3原理的理解，结合开源项目tensorflow-yolov3，写的学习笔记。如有不正确的地方，请大佬们指出，谢谢！YunYang1994 tensorflow-yolov3的开源项目地址:YunYang1994/tensorflow-yolov3​github.com目录第1篇 数据预处理第2篇 backbone&net...
yolo8.net训练自己的数据集
05-16
YOLOv3是一种目标检测算法，它可以用于识别图像或视频中的多个对象。yolo8.net是一个在线平台，可以帮助您训练自己的数据集来识别特定的对象。 下面是yolo8.net训练自己的数据集的步骤： 1. 准备数据集：收集并标记您要识别的对象的图像，使用标注工具标记对象的位置和类别。 2. 上传数据集：将标记好的数据集上传到yolo8.net平台中。 3. 配置模型参数：根据您的数据集和需求，选择合适的模型和超参数。 4. 开始训练：点击“开始训练”按钮，让yolo8.net开始训练模型。 5. 模型调优：在训练过程中，可以根据实际情况调整超参数和模型结构，以获得更好的效果。 6. 下载模型：当训练完成后，您可以将模型下载到本地，然后将其应用于您的项目中。
评论 10
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值