基于Darknet框架利用YOLOV3/V4跑通自己数据

最新推荐文章于 2023-01-14 20:03:46 发布
最新推荐文章于 2023-01-14 20:03:46 发布
阅读量936 收藏 9
点赞数 1
分类专栏： Darknet 目标检测 YOLO 文章标签： opencv caffe 深度学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42206075/article/details/120323185
版权
目标检测 同时被 3 个专栏收录
41 篇文章 12 订阅
订阅专栏
YOLO
19 篇文章 44 订阅
订阅专栏
Darknet
3 篇文章 0 订阅
订阅专栏

基于Darknet框架利用YOLOV3/V4跑通自己数据

一、Darknet框架安装

YOLOV3:https://github.com/pjreddie/darknet
YOLOV4:https://github.com/AlexeyAB/darknet
注：由于V3和V4内部有一些区别，具体的不同可看我之前写的一篇blogYOLOV4与YOLOV3的区别，所以要根据你的需求下载不同版本的框架源码（我用v4为例子）。
在这里插入图片描述
其中，打开Makefile文件：

GPU=0 #是否打开GPU,1-打开，0-关闭
CUDNN=0 #同时打开gpu和cudnn才能进行gpu加速
CUDNN_HALF=0 #对于TITAN v100等显卡，打开这个选项，速度还能提升3倍多
OPENCV=0 #是否打开opencv，其实在darknet中，你是否编译opencv都无关紧要，区别在于后续可视化方面
AVX=0 #如果想要进行cpu加速的话，打开这个选项，但是如果报错，就恢复成0
OPENMP=0 #同上AVX
LIBSO=0
ZED_CAMERA=0
ZED_CAMERA_v2_8=0

ARCH= -gencode arch=compute_35,code=sm_35 \
      -gencode arch=compute_50,code=[sm_50,compute_50] \
      -gencode arch=compute_52,code=[sm_52,compute_52] \
	  -gencode arch=compute_61,code=[sm_61,compute_61]

上述是要根据你自己的显卡算力进行设置的，作者已经把常见的显卡设置的算力注释起来了，可以根据自己需要设置：

# GeForce RTX 3070, 3080, 3090
# ARCH= -gencode arch=compute_86,code=[sm_86,compute_86]

# Kepler GeForce GTX 770, GTX 760, GT 740
# ARCH= -gencode arch=compute_30,code=sm_30

# Tesla A100 (GA100), DGX-A100, RTX 3080
# ARCH= -gencode arch=compute_80,code=[sm_80,compute_80]

# Tesla V100
# ARCH= -gencode arch=compute_70,code=[sm_70,compute_70]

# GeForce RTX 2080 Ti, RTX 2080, RTX 2070, Quadro RTX 8000, Quadro RTX 6000, Quadro RTX 5000, Tesla T4, XNOR Tensor Cores
# ARCH= -gencode arch=compute_75,code=[sm_75,compute_75]

# Jetson XAVIER
# ARCH= -gencode arch=compute_72,code=[sm_72,compute_72]

# GTX 1080, GTX 1070, GTX 1060, GTX 1050, GTX 1030, Titan Xp, Tesla P40, Tesla P4
# ARCH= -gencode arch=compute_61,code=sm_61 -gencode arch=compute_61,code=compute_61

# GP100/Tesla P100 - DGX-1
# ARCH= -gencode arch=compute_60,code=sm_60

# For Jetson TX1, Tegra X1, DRIVE CX, DRIVE PX - uncomment:
# ARCH= -gencode arch=compute_53,code=[sm_53,compute_53]

# For Jetson Tx2 or Drive-PX2 uncomment:
# ARCH= -gencode arch=compute_62,code=[sm_62,compute_62]

# For Tesla GA10x cards, RTX 3090, RTX 3080, RTX 3070, RTX A6000, RTX A40 uncomment:
# ARCH= -gencode arch=compute_86,code=[sm_86,compute_86]

设置完Makefile：

cd darknet-master
make -j24

二、源码分析

  • cfg/ : 目录下面有很多.cfg文件，类似caffe的prototxt文件，包含网络结构，学习参数等
  • data/ : 存放训练数据和标注文件，.name文件存放类别名。labels/下有ASCII码32-127的8种尺寸的图片，显示标签用。
  • examples/ : 例程代码
  • include/ : darknet.h
  • obj/ : 编译中间文件
  • python/ : karknet.py , darknet.pyc , proverbot.py
  • scipts/ : 有关训练集索引文件的脚本
  • src/ : 源码
  • backup/ : 目录下保存训练产生的权重文件，初始为空文件夹

三、训练

3.1数据集的准备

darknet的标准数据集是VOC，之前在这个blog上面已经说过了跑通caffe-ssd demo代码（训练、测试自己数据集）

在这里插入图片描述
Annotations：这个文件夹装的是已经进行人工标注之后的xml文件（但是在darknet框架中，不是直接用darknet，而是使用的是经过转化之后的txt文件）
Imagesets：存放一些txt文件，例如train.txt,test.txt
JPEGImages：存放原始训练照片数据的文件夹

3.2 xml转化为txt

# 此代码和data文件夹同目录
import glob
import xml.etree.ElementTree as ET


#  类名
class_names = ['', ''] #该位置修改为你数据集的类别
path = '' #xml文件路径，train_images只需改为val_images就可以处理val_images的了

#  转换一个xml文件为txt
def single_xml_to_txt(xml_file):
    tree = ET.parse(xml_file)
    root = tree.getroot()
    # 保存的txt文件路径
    txt_file = xml_file.split('.')[0]+'.txt'
    with open(txt_file, 'w') as txt_file:
        for member in root.findall('object'):
	    # filename = root.find('filename').text
	    picture_width = int(root.find('size')[0].text)
	    picture_height = int(root.find('size')[1].text)
	    class_name = member[0].text
	    #  类名对应的index
	    class_num = class_names.index(class_name)
	    box_x_min = int(member[4][0].text)  # 左上角横坐标
	    box_y_min = int(member[4][1].text)  # 左上角纵坐标
	    box_x_max = int(member[4][2].text)  # 右下角横坐标
	    box_y_max = int(member[4][3].text)  # 右下角纵坐标
	    # 转成相对位置和宽高
	    x_center = (box_x_min + box_x_max) / (2 * picture_width)
	    y_center = (box_y_min + box_y_max) / (2 * picture_height)
	    width = (box_x_max - box_x_min) / picture_width
	    height = (box_y_max - box_y_min) / picture_height
	    print(class_num, x_center, y_center, width, height)
	    txt_file.write(str(class_num) + ' ' + str(x_center) + ' ' + str(y_center) + ' ' + str(width) + ' ' + str(height) + '\n')

#  转换文件夹下的所有xml文件为txt
def dir_xml_to_txt(path):
    for xml_file in glob.glob(path + '*.xml'):
        single_xml_to_txt(xml_file)

dir_xml_to_txt(path)

在这里插入图片描述
在这里插入图片描述

上述就是转化的效果。（xml文件可以删除了）

3.3 生成train.txt 和 val.txt

先说明下，这两个txt文件是保存所有训练和测试图片名称的。

  • train.txt文件包含train_images中所有图片的路径，每个图片一行
  • val.txt文件包含val_images中所有图片的路径，每个图片一行
import glob
path = '' #存放图片的文件夹，即JPEGImages

def generate_train_and_val(image_path, txt_file):
    with open(txt_file, 'w') as tf:
        for jpg_file in glob.glob(image_path + '*.jpg'):
            tf.write(jpg_file + '\n')

generate_train_and_val(path + 'train_images/', path + 'train.txt')
generate_train_and_val(path + 'val_images/', path + 'val.txt')

3.4准备data文件和names文件

names文件：
在这里插入图片描述
这个文件是存放你训练数据的类别名称，每个类别占一行，我训练的数据就两类。

data文件：
在这里插入图片描述

3.5 准备预训练权重文件（这一步其实可以省略，但是为了训练效率，建议加上）

yolov3预训练权重

3.6 准备cfg文件

作者已经给我们提供了yolov3的cfg文件，在darknet-master/cfg下面，打开yolov3.cfg:

在这里插入图片描述

在darknet的配置文件有两个参数：batch和subdivisions是比较令人费解的，如上所示。一般地，batch就是一次输入多少图片到神经网络中来计算loss，并反向update gradients。 但在darknet代码里面，含意稍微有些不同。

实际上网络是喂入batch张图片进行训练（前向推理和反向传播），但是升级权值是在cfg中batch数目结束后进行的。它把平常所说的mini-batch SGD的batch分割成两个部分含义。前面是小batch图片训练，后面再是大batch训练后更新网络。 这样做的用意，应该是为了省内存吧。 每次计算的图片数目 = batch/subdivisions，然后把结果合起来也就是一个batch更新模型一次。

换个角度，如果内存足够的话，且想提高训练速度的话，应该是提高cfg中的batch值，并适当较少subdivision，这样net->batch适当变大，意味着每次参加训练的图片数目增加，循环训练次数subdivision变少。 以文中数值例子而言，将64和16改成64和8比较适宜些。
在这里插入图片描述
第二个要改的点就是classes，修改为你要训练数据的类别数量，应该是有三处。

在这里插入图片描述
第三个要改的地方就是在yolo层的上一层的filters，修改为（your_classes + 5）* 3,比如我这里classes_num = 2,那么我就修改为filters=21。因为有三个yolo层，那么就应该要修改三处。

3.7 开始训练

cd darknet-master
./darknet detector train cfg/fenhe.data cfg/fenhe_net.cfg backup/yolov3.weights -gpus 0,1

注：
第一个参数：上述data文件路径
第二个参数：上述yolov3.cfg文件路径
第三个参数：这个参数可以选择不填，如果想要使用预训练权重文件，就把预训练文件路径放进去就好
第四个参数：选取指定的显卡

3.8 测试

cd darknet-master
./darknet detector test cfg/fenhe.data cfg/fenhe_net.cfg backup/yolov3.weights data/img.jpg -thresh 0.5 -gpus 0,1

注：
第一个参数：上述data文件路径
第二个参数：上述yolov3.cfg文件路径
第三个参数：这个参数可以选择不填，如果想要使用预训练权重文件，就把预训练文件路径放进去就好
第四个参数：测试图片路径
第五个参数：阈值大小（可选填）
第六个参数：选取指定的显卡

部分转载于：https://zhuanlan.zhihu.com/p/45852709

进我的收藏吃灰吧~~
关注
  • 1
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
Yolov4\yolov3之Darknet配置及效果测试
爆炒小肥牛
04-27 5775
Yolov4\yolov3之Darknet配置及效果测试 emmmmmmm 这个寒假还没过完，论文写的一塌糊涂。 当论文还是在使用Yolov3的时候，v4出现了。 抓紧上车尝试了一番，官方要求1080i显卡，无奈只有一个小本本，GTX 960M的显卡，先跑跑尝鲜，但自己测试的效果单在速度上，v4不如v3。 Darknet下载： 最新,含v4.cfg git clone https://github...
使用darknet训练yolov3、yolov4模型并部署：食物分拣和衣物穿戴检测
SeventhBlue
10-30 871
一、数据处理 将视频转成图片，并使用labelImg工具标注。 二、使用darknet训练模型 2.1 训练代码 使用darknet的代码进行训练，并添加了一些数据处理代码。详情可看readme以及代码注释。 yolov3：https://github.com/SeventhBlue/trainDarknet-yolov3 yolov4：https://github.com/SeventhBlue/trainDarknet-yolov4 2.2 部署代码 使用opencv440GPU版本进行
ubuntu darknet中选择cuda版本_手把手教你如何在darknet框架下配置yolo v3
weixin_39611072的博客
11-21 574
手把手教你如何在darknet框架下配置yolo v3目录:什么是darknet如何配置darknet以及测试制作VOC数据集使用yolo v3训练自己的数据什么是darknet可以把darknet看成是一个框架，里面包含了从AlexNet到现在yolo的配置文件，都是基于C实现的，使用者可以根据自己的需求加载网络，来测试或者训练自己的data。以下只截取了一部分。 优点：完全基于C和CUDA开发...
yolov3.cfg参数解读
WHY380012801的博客
07-08 1019
对于模型的优化，我们可以通过适当修改网络基本配置信息完成训练上的优化。 yolov3.cfg文件： [net]# Testing #测试模式 batch=1 subdivisions=1# Training #训练模式 每次前向图片的数目=batch/subdivisions# batch=64 # subdivisions=16 ...
【Darknet版YOLOv3&YOLOv4模型训练】
weixin_51154380的博客
11-18 1287
在Windows平台下是通过project文件去管理这些的，如果不用CMake，那我们为Windows和Linux系统就要写对应的project文件和makefile文件，这无疑是一件繁琐的事，而我们只要编写一次CMake，就可以用在各个平台，而且其语法也简单。labelimg标注完数据之后以.xml数据的格式进行保存，只能创建矩形框更加适用于目标检测制作数据集，如YOLO，而labelme以.json文件的数据格式进行保存，可以创建多种类型的边框进行标注，适用于图像分割，如MaskRcnn。
darknet训练自己的数据——yolo v3/yolo v4
耶律大石的博客
05-03 523
前言 darknet框架是纯C语言的，适合运行在编译环境下，目前深度学习目标检测性能十分好的yolo系列也是可以运行在这个框架下的，接下来我就总结一下darknet训练自己的数据——yolo v3/yolo v4。 darknet训练自己的数据——yolo v3/yolo v4前言参考文章 参考文章 https://zhuanlan.zhihu.com/p/45852709 https://zhuanlan.zhihu.com/p/45845454 ...
基于DarkNet框架实现YOLOV4的训练
qq_46292437的博客
01-18 2880
关于yolov4在darknet框架中训练的操作
Win10+RTX3080深度学习环境搭建，执行YOLO目标检测
qq_41536059的博客
06-15 2309
1 软件安装 硬件环境：RTX3080 软件环境：WIN10，CUDA11.1，cuDNN8.0.4，python，VS，opencv3.4.2（？github上说opencv4不支持3080），vcpkg（版本待定） opencv需要编译 2 配置YOLO 3 训练YOLO 4 目标检测
YOLO V3 框架概述
积极向上的mr.d的博客
11-11 3999
YOLOv3框架 网络结构: DBL:也就是代码中的Darknetconv2d_BN_Leaky，是yolo_v3的基本组件。就是卷积+BN+Leaky relu。对于v3来说，BN和leaky relu已经是和卷积层不可分离的部分了(最后一层卷积除外)，共同构成了最小组件。 res_n：n代表数字，有res1，res2, … ,res8等等，表示这个res_block里含有多少个res_unit。这是yolo_v3的大组件，yolo_v3开始借鉴了ResNet的残差结构，使用这种结构可以让网络结构更深(
【笔记】YOLOv3+darknet实现目标识别
weixin_45048417的博客
01-04 4133
目录一、安装OPENCV3.4二、编译darknet三、创建自定义数据集四、训练YOLOv3-tiny模型五、结果测试功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的文章UML ...
YOLOv8（n/s/m/l/x）&YOLOv7(yolov7-tiny/yolov7/yolov7x)&YOLOv5（n/s/m/l/x）不同模型参数/性能对比（含训练及推理速度）
最新发布
weixin_45921929的博客
01-14 3万+
YOLOv8（n/s/m/l/x）&YOLOv7(yolov7-tiny/yolov7/yolov7x)&YOLOv5（n/s/m/l/x）不同模型参数/性能对比（含训练及推理速度）
c++调用yolov4模型进行目标检测-使用yolov4官方接口
m0_50117360的博客
08-20 1万+
前言 yolo系列用c写的，在工程中的部署特别方便。4月份yolov4横空出世，之前试了试效果，精度确实有了很大的提升，AB大神nb。最近需要在C++项目中使用yolov4，尝试了opencv的调用(见我的上一篇博客这里)，yolov4官方也提供了C++接口，并不需要opencv4.4的版本，调用起来也特别简单。 darknet 使用官方接口调用，我们首先得编译darknet动态库，下载yolov4源码 git clone https://github.com/AlexeyAB/darknet.git 进
yolov4用1050ti_c++调用yolov4模型进行目标检测-使用yolov4官方接口
weixin_35397235的博客
12-29 1281
前言yolo系列用c写的，在工程中的部署特别方便。4月份yolov4横空出世，之前试了试效果，精度确实有了很大的提升，AB大神nb。最近需要在C++项目中使用yolov4，尝试了opencv的调用(见我的上一篇博客这里)，yolov4官方也提供了C++接口，并不需要opencv4.4的版本，调用起来也特别简单。darknet使用官方接口调用，我们首先得编译darknet动态库，下载yolov4源码...
Yolov3模型框架darknet研究（六）在cpu上运行yolov3完整版模型所需要的内存大小
ltshan139的专栏
05-11 7862
背景 前几天我同事在2G内存的linux服务器上想基于darknet框架运行yolov3完整版模型（即106层网络结构），结果发现内存不够。这里面引出一个话题，在cpu上基于darknet来加载、推理yolov3完整版到底要耗费多大内存？ 实验代码 下面实验数据是win10上面基于darknet_AB框架运行608x608的yolov3完整版模型所得。注意，如果网络size为416x416...
Yolov3模型框架darknet研究（十）彻底弄明白darknet中的batch和subdivisions
ltshan139的专栏
05-30 1万+
前言 在darknet的配置文件有两个参数：batch和subdivisions是比较令人费解的，如下所示。一般地，batch就是一次输入多少图片到神经网络中来计算loss，并反向update gradients。 但在darknet代码里面，含意稍微有些不同。 分析 下面以batch=64，subdivisions=16为例，并结合代码来分析它们的真实意思。 首先在训练真正开始前，...
安装darknet版yolov3
Hurt_Town的博客
04-11 3851
下载Darknet源码: git clone https://github.com/AlexeyAB/darknet.git cd darknet 修改Makefile: GPU=1 CUDNN=1 OPENCV=1 LIBSO=1 在/etc/ld.so.conf.d 创建一个cuda.conf 文件 sudo vim /etc/ld.so.conf.d/cuda.conf 写入/usr/local/cuda/lib64 执行：sudo ldconfig 使文件生效 编译源码： make 验证darkne
darknet框架调用yolov3模型流程
计算机视觉算法开发与落地
06-24 884
1.载入模型与网络文件，网络预处理 string CfgPath="...\\name.cfg"; string WeightsPath="...\\name.weights"; network net = load_network((char*)CfgPath.c_str(), (char*)WeightsPath.c_str(), 0);///加载网络，加载成功，终端会打印出网络各层 set_batch_network(net, 1);///设置网络batch, 预测时batch必须设置为1 2.
基于YOLOV3的通用物体检测项目实战---（3）YOLOV3 DarkNet框架介绍和环境搭建（笔记）
奔跑的小仙女
06-12 2514
YOLO V3检测模型的环境搭建 YOLOV3介绍： 速度和精度最均衡的目标检测网络 融合多种先进方法，改进YOLOV1/V2缺点，且效果更优 YOLOV3具体图解在：https://blog.csdn.net/qq_43211132/article/details/91044151 DarkNet 一个较为轻型的完全基于C与CUDA的开源深度学习框架。 容易安装，没有任何依赖项，移植性非...
基于darknet-53框架的Yolov3实验
qq_41652814的博客
04-26 1万+
基于darknet-53框架的Yolov3实验 配置环境虽然有点麻烦，但是跑出结果的时候还是感觉到了yolov3的强大，下面是跑出来的结果 首先是yolov3的输出结果： 茯苓@FL /cygdrive/d/软件/cygwin2/home/茯苓/darknet $ ./darknet detect cfg/yolov3.cfg yolov3.weights data/person.jpg l...
Darknet框架下YOLOv3数据集训练与评估步骤
这个PDF文档详细介绍了如何在Darknet框架下，利用YOLOv3对自定义数据集进行训练和评估，涉及数据准备、模型配置、训练流程以及性能评估等关键环节，对于想要进行目标检测模型定制的开发者来说是一份宝贵的指南。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

进我的收藏吃灰吧~~

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值