darknet yolo v2 训练自己的数据

最新推荐文章于 2023-05-24 13:33:41 发布
最新推荐文章于 2023-05-24 13:33:41 发布
阅读量6.2k 收藏 9
点赞数
分类专栏： deep learning-paper 文章标签： 数据

    darknet训练自己的数据，官方提供了一个训练VOC的例子，我们参照这个例子，来训练我们自己的数据。


1. 准备数据集

         首先我们应该准备好我们自己的数据集用于训练。要训练一个自己的网络，我们需要有训练集和测试集。在这里，我们建立两个文件夹train和val用于存放这两类数据。接下来，我们要做的是生成数据的标记文件，也就是目标在图片中的类别以及位置信息。

1.1 生成标记文件

生成yolo的标记文件应该遵循以下两个规则：

  1. 每个原图像都对应着一个标记文件，而且文件名都相同，比如图片的名字是1.jpg，那么对应这张图片的标记文件名称应该为1.txt。
  2. 每个标记文件中，内容应该是这样的<object-class> <x> <y> <width> <height>，其中<x> <y> <width> <height>是相对于图像宽高的比例。

知道了这两个规则之后，我们就可以定义我们的标记文件了。这里我已经有了VOC格式标记的XML文件，那么接下来我们使用Python来生成YOLO格式的标记文件，代码如下：

[python] view plain copy print ?
  1. import xml.etree.ElementTree as ET  
  2. import pickle  
  3. import os  
  4. from os import listdir, getcwd  
  5. from os.path import join  
  6.   
  7. TrainLabel_Dir = '/home/ubuntu/data/labels'  #XML所在目录  
  8.   
  9. def convert(size, box):  
  10.     dw = 1./size[0]  
  11.     dh = 1./size[1]  
  12.     x = (box[0] + box[1])/2.0  
  13.     y = (box[2] + box[3])/2.0  
  14.     w = box[1] - box[0]  
  15.     h = box[3] - box[2]  
  16.     x = x*dw  
  17.     w = w*dw  
  18.     y = y*dh  
  19.     h = h*dh  
  20.     return (x,y,w,h)  
  21.   
  22. if not os.path.exists('labels/'):  #生成的label放在label目录下  
  23.     os.makedirs('labels/')  
  24. for rootDir,dirs,files in os.walk(TrainLabel_Dir):  
  25.     for file in files:  
  26.         file_name = file.split('.')[0]  
  27.         out_file = open('labels/%s.txt'%(file_name),'w')  
  28.         in_file = open("%s/%s"%(rootDir,file))  
  29.         tree = ET.parse(in_file)  
  30.         root = tree.getroot()  
  31.         size = root.find('size')  
  32.         w = int(size.find('width').text)  
  33.         h = int(size.find('height').text)  
  34.           
  35.         for obj in root.iter('object'):  
  36.             xmlbox = obj.find('bndbox')  
  37.             b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))  
  38.             bb = convert((w,h), b)  
  39.             out_file.write("0" + " " + " ".join([str(a) for a in bb]) + '\n')     #我这里只有一类，所以类别只是0.  
  40.         out_file.close()    
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

TrainLabel_Dir = '/home/ubuntu/data/labels'  #XML所在目录

def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

if not os.path.exists('labels/'):  #生成的label放在label目录下
    os.makedirs('labels/')
for rootDir,dirs,files in os.walk(TrainLabel_Dir):
    for file in files:
        file_name = file.split('.')[0]
        out_file = open('labels/%s.txt'%(file_name),'w')
        in_file = open("%s/%s"%(rootDir,file))
        tree = ET.parse(in_file)
        root = tree.getroot()
        size = root.find('size')
        w = int(size.find('width').text)
        h = int(size.find('height').text)
        
        for obj in root.iter('object'):
            xmlbox = obj.find('bndbox')
            b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
            bb = convert((w,h), b)
            out_file.write("0" + " " + " ".join([str(a) for a in bb]) + '\n')     #我这里只有一类，所以类别只是0.
        out_file.close()

这样我们就生成了YOLO格式的标记文件了。如果按照上面的python代码，生成的标记文件在当前路径的label目录下。

用此方法分别生成train和val的标记文件

1.2 生成原图片绝对路径文件

在YOLO的训练中，还需要一个txt文件来记录所有待训练图片的绝对路径。即train文件夹下所有图片的绝对路径，python代码如下：

[python] view plain copy print ?
  1. import xml.etree.ElementTree as ET  
  2. import pickle  
  3. import os  
  4. from os import listdir, getcwd  
  5. from os.path import join  
  6.   
  7. TrainDir = '/home/ubuntu/data/train'  #训练文件所在目录  
  8.   
  9. out_file = open('train.txt','w')  #生成的txt文件  
  10. for root,dirs,files in os.walk(TrainDir):  
  11.     for file in files:  
  12.         out_file.write('%s/%s\n'%(root,file))  
  13. out_file.close()  
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

TrainDir = '/home/ubuntu/data/train'  #训练文件所在目录

out_file = open('train.txt','w')  #生成的txt文件
for root,dirs,files in os.walk(TrainDir):
    for file in files:
        out_file.write('%s/%s\n'%(root,file))
out_file.close()

用此方法分别生成train和val的txt文件。

1.3 将原图片和标记文件放在一起

YOLO是直接通过替换原图片绝对路径的后缀名来找到对应标记文件的。比如原图片的绝对路径为/home/ubuntu/data/train/1.jpg。则YOLO将会直接认为其对应的标记文件路径为/home/ubuntu/data/train/1.txt。所以，我们将之前1.1生成的标记文件放到对应的原图片目录下。


2. 修改文件


2.1 创建names文件

在YOLO主目录的data文件夹下，创建一个.names文件，文件名任意。比如mydata.names。在该文件中写入所有类别的名称，每一类占一行。比如我这里只检测行人这一类，那么只在第一行写上"person"即可。

2.2 修改data文件

接下来我们要做的是修改YOLO的cfg文件。在darknet的主目录下，进入cfg目录，找到voc.data打开，修改其中的内容

classes= 1           #训练数据的类别数目，我这里只有一类，所以这里是1
train  = <path-to-voc>/train.txt             #上面1.2步骤生成的train文件路径
valid  = <path-to-voc>2007_test.txt         #上面1.2步骤生成的val文件路径
names = data/voc.names                    #上面2.1步骤创建的names文件路径
backup = backup                       #这是训练得到的model的存放目录，建议自己修改。


2.3 修改cfg文件

如果你想应用yolo_voc.cfg网络来训练你的数据，那么你需要修改这个文件中的一些内容。

  1. [region]层中classes改成你的类别数，我这里只检测行人，所以我改成了classes=1.
  2. [region]层上方的[convolution]层中，filters的数量改成（classes+coords+1）*NUM。我这里改成了(1+4+1)*5=30.具体可以参考https://groups.google.com/forum/#!topic/darknet/B4rSpOo84yg

2.4 修改src/yolo.c文件

  1. 第13行改成 char *voc_names[] = {"person"};  //如果你是一类的话，就改成这样，如果你有多类，自己根据需求改。
  2. 第322行draw_detections函数中，最后一个参数由20改成你的类别数，我这里是1。
  3. 第354行demo函数中，倒数第三个参数由20改成你的类别数，我这里是1.
  4. 第17行改成 char *train_images = "<path-to-voc>/train.txt";     //上面1.2步骤生成的train文件路径
  5. 第18行改成 char *backup_directory = "/home/Ubuntu/Downloads/darknet-master/backup/";     //这个路径自己指定。
  6. 第121行改成 char *base = "/home/Ubuntu/Downloads/darknet-master/results/comp4_det_test_";   //这个路径自己指定。
  7. 第123行改成 list *plist = get_paths("<path-to-voc>/val.txt");  //上面1.2步骤生成的val文件路径
  8. 第209行改成 char *base = "/home/Ubuntu/Downloads/darknet-master/results/comp4_det_test_"; //这个路径自己指定
  9. 第210行改成 list *plist = get_paths("<path-to-voc>/val.txt"); //上面1.2步骤生成的val文件路径

2.5 修改src/yolo_kernels.cu文件

第62行draw_detections函数最后一个参数由20改成你的类别数，我这里是1.

2.6 修改src/detector.c文件

第368行改成 list *plist = get_paths("<path-to-voc>/train.txt");  #上面1.2步骤生成的train文件路径

第539行option_find_int函数的最后一个参数由20改成1.

2.7 重新编译darknet yolo

[cpp] view plain copy print ?
  1. cd <darknet_root>  
  2. make clean  
  3. make -j16  
cd <darknet_root>
make clean
make -j16

3. 训练

所有的步骤都已经准备好了。最后就是训练了。为了加快训练速度，我们可以下载官方提供的预训练模型。下载地址为

curl -O http://pjreddie.com/media/files/darknet19_448.conv.23

最后，我们cd到darknet的主目录，输入下面的指令来进行训练

[cpp] view plain copy print ?
  1. ./darknet detector train cfg/voc.data cfg/yolo-voc.cfg darknet19_448.conv.23  
./darknet detector train cfg/voc.data cfg/yolo-voc.cfg darknet19_448.conv.23

这其中voc.data就是2.2中修改后的data文件，yolo-voc.cfg是网络结构文件，darknet19_448.conv.23是下载的预训练模型。

整个的训练时间比较长，慢慢等吧。。。。。

zhuiqiuk
关注
  • 0
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
darknet-mobilenet-v2:适用于MobileNet v2的Darknet
05-12
适用于MobileNet v2的Darknet 介绍 借助和 ，将MobileNet v2预训练的模型转移到 仅修改src/image.c和examples/classifier.c ，搜索“ mobilenet”以查看更改的内容 评估 如果要使用单个图像进行评估，请使用 ./darknet classifier predict mobilenet/imagenet1k.data mobilenet/test.cfg mobilenet/test.weights mobilenet/cat.jpg 预期输出（GPU = 1，OPENCV = 0）： 19.65%: Egyptian cat 16.53%: tiger cat 10.64%: tabby 7.38%: red fox 6.09%: kit fox 如果要使用ILSVRC2012进行验证，请访问制作有效列表 结果是
yolov5：训练自己的数据模型
最新发布
qq_41478219的博客
07-29 1108
利用yolov5模型，训练自己的数据模型
利用YOLOv2训练数据
echoKangYL的博客
03-05 2743
在实习期间，需要利用YOLOv2训练自己的一批数据，在网上找了各种博客，其中的方法总是有一些问题。用了很久的时间来解决这些问题，并将解决问题的方法记录下来，希望对大家有所帮助。1.下载YOLOyolo的官网：https://pjreddie.com/darknet/yolo/大概是这样的画风：按照步骤下载并进行图片验证即可。2.数据预处理（该处理方法与参考博客中的方法相同）该阶段建立的文件夹的名称...
YOLO v2（Darknet）训练自定义数据集使用记录
无一技之长
06-06 1135
Darknet官网：https://pjreddie.com/darknet/yolo/GitHub地址：https://github.com/pjreddie/darknetWindows版本可参考：https://github.com/AlexeyAB/darknet参照官网流程：下载源码，编译，下载基于voc或者coco数据集已训练好的权重文件，进行目标检测测试。一切顺利的话，则可以准备自己的数据集进行训练了。准备好训练图片（以武器图片识别为例），参考VOC Data数据集格式，样本统一采用jpg格式
darknet yolov2 训练自己的数据集
qq_27840681的博客
03-19 5709
ubuntu14.04+opencv2.4.10+cuda7.5+cudnn5.0 训练集：20张图片 00001.jpg-00020.jpg           测试集：5张图片 00021.jpg-00025.jpg 其中，训练集中18张用于Train，2张用于Validation。 分类个数6个 一、生成xml，使用工具https://github.com/tzutali
yolo v2（darknet）
02-09
包含cpu和gpu版本，支持opencv3 opencv2，有问题可以产看我自己写的教程
yolo v2与v3模型效率比较darknet-waf
03-27
Darknet-WAF（Web Application Firewall）可能是指将Darknet应用于网络安全，通过YOLO模型检测潜在的网络攻击。 在实际应用中，选择YOLOv2还是YO3取决于具体需求。如果追求更快的速度，YOLOv2可能是个好选择，但若...
Food100_YOLO_Tools:用于Food100数据集DarkNet YOLO培训的Python工具和配置文件
05-14
为了使DarkNet YOLO培训能够正常工作，我们需要每个图像的对象边界框文件所有类别名称的类名称文件用于训练图像列表的训练数据集文件验证数据集文件以获取验证图像列表YOLO神经网络规范的配置文件数据位置文件，...
YOLO v2配置文档
06-05
### YOLO v2配置文档知识点详解 #### 一、YOLO v2简介 YOLO (You Only Look Once) 是一种流行的实时目标检测框架，它能够实现非常快的目标检测速度，同时保持较高的检测准确率。YOLO v2作为YOLO的一个升级版本，在...
GitHub - AlexeyAB_darknet_ Windows and Linux version of Darknet Yolo v3
09-24
翻译-中文GitHub - AlexeyAB_darknet_ Windows and Linux version of Darknet Yolo v3 & v2 Neural Networks for object detection
Windows下使用Darknet训练自己的数据集（模型：yolov4-tiny、数据集：垃圾分类）
weixin_52939176的博客
01-18 5829
超级详细的Darknet训练自己数据集的教程博客，使用yolov4-tiny模型进行垃圾分类数据集进行训练！
yolov2训练自己的数据库
cbhlccc的博客
03-14 672
拿到了训练图片和标注文件xml开始按voc结构来构造自己的数据集 --VOC --Annotations --ImageSets --Main --JPEGImages 这里只列出关键的，之后还会建立一个labels目录（Ubuntu大小写有无空格好敏感!!!）这里面用到的文件夹是Annotation、I...
【YOLO学习】使用YOLO v2训练自己的数据
热门推荐
Joe_quan的博客
01-06 5万+
这篇文章是训练YOLO v2过程中的经验总结，我使用YOLO v2训练一组自己的数据，训练后的model，在阈值为.25的情况下，Recall值是95.54%，Precision 是97.27%。 需要注意的是，这一训练过程可能只对我自己的训练集有效，因为我是根据我这一训练集的特征来对YOLO代码进行修改，可能对你的数据集并不适用，所以仅供参考。
深度学习（三） YOLOv2训练自己的数据集
syoung9029的博客
02-19 1万+
最近在用yolo来做视频中的人员检测，选择YOLO是从速度考虑，当然也可以用ssd。YOLO相关可看主页Darknet，有相关代码和使用方法。由于之前做自己的数据训练过程中出现各种问题，参照了各种博客才跑通，现在记录下以防后面忘记，也方便自己总结一下。       YOLO本身使用的是VOC的数据集，所以可以按照VOC数据集的架构来构建自己的数据集。 1.构建VOC数据集 1.准备数据 首
基于darknet框架+yolov3训练自己的数据集
Keep_Trying_Go的博客
05-24 1812
基于darknet框架+yolov3训练自己的数据集
YOLO训练
hrsstudy的博客
03-24 1万+
YOLO 数据准备、训练、可视化训练过程中间参数、模型评估
darknet源码分析之tiny-yolov2模型训练及测试
GK_2014的专栏
10-17 3293
目录 模型训练 模型训练概览 网络结构文件加载 预训练权重文件加载 数据加载 数据增强 网络训练 模型测试 前段时间在darknet框架上训练了tiny-yolov2,对于darknet这个C语言框架有了些自己的认识，遂记录于此。darknet在github上的url:https://github.com/pjreddie/darknet，darknet官网:https://pj...
目标检测实战：PP-YOLOv2训练自己的数据集
爱唱歌的卡卡西的博客
11-30 4255
记录使用PP-YOLOv2训练自己的数据集的过程。详细安装文档可参考官方文档。官方文档写的十分详细，包括数据准备、环境搭建、训练过程等，这里笔者根据个人操作进行总结。以上就是笔者要讲的内容，本文介绍了如何部署PaddleDetection，使用PPYOLOV2训练自己的数据集。PaddleDetection包含了不止一种目标检测的算法，里面也包括ppyoloe等其他yolo系列，训练配置、流程相差不大。
yolo v2目标检测算法概述
04-14
YOLO（You Only Look Once）是一种实时目标检测算法，YOLO v2是YOLO的第二个版本。它的主要思想是将目标检测问题转化为一个回归问题，通过一个单一的神经网络同时预测目标的类别和边界框。 YOLO v2相对于YOLO v1进行了一些改进，包括以下几个方面： 1. 多尺度训练：YOLO v2在训练过程中使用了不同尺度的图像，这样可以更好地检测不同大小的目标。 2. Anchor Boxes：引入了Anchor Boxes的概念，通过预定义一些不同形状和尺寸的Anchor Boxes来提高目标检测的准确性。 3. Darknet-19网络结构：YOLO v2使用了一个名为Darknet-19的卷积神经网络作为基础网络，用于提取图像特征。 4. 特征融合：在YOLO v2中，将不同层级的特征图进行融合，以便更好地捕捉目标的上下文信息。 5. 细粒度特征：YOLO v2在网络中引入了更多的细粒度特征，以提高对小目标的检测能力。 总体而言，YOLO v2通过改进网络结构、引入Anchor Boxes和多尺度训练等技术手段，提高了目标检测的准确性和性能。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值