【YOLO】YOLOv4训练自己的数据集

已于 2022-03-01 21:49:26 修改
阅读量1.1w 收藏 77
点赞数 10
文章标签： 深度学习
于 2021-01-15 14:23:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44703886/article/details/109555946
版权

虽然在笔者写这篇博客的时候，YOLOv5已经问世，但是看到许多博客都说YOLOv4效果更佳，具体如何，笔者得亲测才能认同。
YOLOv4论文链接
YOLOv4代码链接

1 环境搭建

1. 创建虚拟环境并激活
conda create -n yolo4 pip python=3.6
conda activate yolo4
2. Requirements 安装必要的依赖项
根据github：
在这里插入图片描述

 conda install cudatoolkit=10.0
 conda install cudnn=7.6.5
 conda install cmake  # 这里笔者安装的cmake=3.18.2
 conda install opencv  # 这里笔者安装的opencv=3.4.2
笔者选择的框架是tensorflow，如果电脑允许最好下载GPU版本的tensorflow

根据github上的指示，进入tensorflow框架下的yolov4源码github的链接：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
根据指示继续安装requirements

 pip install --ignore-installed --upgrade tensorflow-gpu==2.3.0 -i https://pypi.douban.com/simple
 pip install opencv-python==4.1.1.26; lxml; tqdm...

3. 下载源代码

git clone https://github.com/AlexeyAB/darknet.git

编译

由于后续训练要使用GPU，因此需要修改makefile文件，具体修改部分如图所示：
在这里插入图片描述
根据上图的标注部分进行修改

darknet YOLO 编译使用GPU

在这里插入图片描述

在这里插入图片描述

  • NVCC要对应自己的电脑路径进行修改

在这里插入图片描述
要根据电脑的计算能力修改，笔者的电脑无法满足，于是将其注释掉,选择可以满足的计算能力，可以百度搜索自己电脑的GPU 计算能力。
在这里插入图片描述

在终端运行，编译：
1 # cd到darknet文件夹下： 
2 make # 或make -j8

2 下载开源权重并测试

yolov4.weights官网链接
笔者百度网盘链接：https://pan.baidu.com/s/1h4vuNFgWRyiMoppNnVR1wA
提取码：h0c5

./darknet/results detect cfg/yolov4.cfg yolov4.weights data/dog.jpg

其中，./darknet/results结果保存路径；data/dog.jpg测试图片

3 训练自己的数据集

数据集结构如下图所示：
在这里插入图片描述
其中，Annotations: 标签文件（.xml）
ImageSets/Main: 在三个.txt中存放三类数据集的图片名称
将train_val_test.py代码复制到ImageSets相同根目录下，生成 需要的.txt文件，代码如下：
可以自行修改数据集的比例。

"""
2020.09.18:alian
divide train&val&test save as txt
"""
import os
import random
from pathlib import Path

trainval_percent = 0.8  # trainval数据集占所有数据的比例
train_percent = 0.75  # train数据集占trainval数据的比例
xmlfilepath = 'Annotations'  # 标注数据xml储存的路径
txtsavepath = 'ImageSets/Main'  # txtb保存的路径
total_xml = os.listdir(xmlfilepath)

num = len(total_xml)
print('total number is ', num)
list = range(num)
tv = int(num * trainval_percent)
print('trainVal number is ', tv)
tr = int(tv * train_percent)
print('train number is ', tr)
print('test number is ', num - tv)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)

# windows
# ftrainval = open(txtsavepath+'\\'+'trainval.txt', 'w')
# ftest = open(txtsavepath+'\\'+'test.txt', 'w')
# ftrain = open(txtsavepath+'\\'+'train.txt', 'w')
# fval = open(txtsavepath+'\\'+'val.txt', 'w')
# ubuntu
ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
fval = open('ImageSets/Main/val.txt', 'w')

for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)

ftrainval.close()
ftrain.close()
fval.close()
ftest.close()

JepgImages: 原始图片

1. 准备YOLOv4需要的label和txt
./darknet/scripts下的voc_label.py复制到项目根目录下./darknet，并对其内容进行修改:

"""
2020.11.09
author:alian
"""
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

# sets=[('2012', 'train'), ('2012', 'val'), ('2007', 'train'), ('2007', 'val'), ('2007', 'test')]
sets=[('turnout', 'train'), ('turnout', 'val'),  ('turnout', 'test')]  # 以类别名称命名
# classes = ["aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor"]
classes = ["turnout"]  # 类别名称

def convert(size, box):
    dw = 1./(size[0])
    dh = 1./(size[1])
    x = (box[0] + box[1])/2.0 - 1
    y = (box[2] + box[3])/2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(classes, image_id):
    # in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id))
    # out_file = open('VOCdevkit/VOC%s/labels/%s.txt'%(year, image_id), 'w')
    in_file = open('VOC2007_%s/Annotations/%s.xml'%(classes, image_id))
    out_file = open('VOC2007_%s/labels/%s.txt'%(classes, image_id), 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult)==1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()

for classes, image_set in sets:
    if not os.path.exists('VOC2007_%s/labels/'%(classes)):
        os.makedirs('VOC2007_%s/labels/'%(classes))
    image_ids = open('VOC2007_%s/ImageSets/Main/%s.txt'%(classes, image_set)).read().strip().split()
    list_file = open('%s_%s.txt'%(classes, image_set), 'w')
    for image_id in image_ids:
        list_file.write('%s/VOC2007_%s/JPEGImages/%s.jpg\n'%(wd, classes, image_id))
        convert_annotation(classes, image_id)
    list_file.close()

# os.system("cat 2007_train.txt 2007_val.txt 2012_train.txt 2012_val.txt > train.txt")
# os.system("cat 2007_train.txt 2007_val.txt 2007_test.txt 2012_train.txt 2012_val.txt > train.all.txt")
os.system("cat turnout_train.txt turnout_val.txt > train.txt")
os.system("cat turnout_train.txt turnout_val.txt turnout_test.txt > train.all.txt")

执行如下命名：
在根目录下将会生成训练需要的文件，即各个训练集中包含图像的路径。

cd ./darknet
python voc_label.py

在这里插入图片描述
2、修改配置文件
（1）. cfg目录下：（voc.data/coco.data二选一即可，笔者这里选择cov.data）

在这里插入图片描述

  • 类别数量
  • 训练过程中训练数量和验证数量的txt文件（即上述voc_label.py生成的文件）
  • 类别标签名称
  • 存放权重的路径

（2）yolov-obj.cfg

  • yolov4训练参数和相关网络结构的修改：
    复制cfg文件夹下的yolov4-custom.cfg重命名为yolo-obj.cfg，修改如下参数：
    输入图像大小和训练测试阶段中的batch的数量和划分次数；
    图像大小必须是32的倍数
    在这里插入图片描述

  • 训练代数：

  • github中给出了max_batches的基本设置方法，2000 ×classes（但不少于训练图像的总数以及6000）。当然，设置的大一些也是可以的，只不过后期基本上在某一值附近震荡

  • 值得注意的是，steps的设置是max_batches × 80% 和 max_batches × 90%。
    在这里插入图片描述

  • 网络结构：

根据待测目标类别的数量更改YOLO层(3处地方)和YOLO层前一层的卷积层（3处地方）

  • 包含YOLO前一层卷积层的卷积核个数：（classes + 5）*3 （三处）
  • YOLO层的类别数classes （三处）
  • 锚框（可选，kmeans聚类） （暂时不改）
    在这里插入图片描述

（3） data目录下：
在这里插入图片描述

开始训练

下载预训练权重：yolov4.conv.137
笔者百度云盘链接：https://pan.baidu.com/s/1p-7zbIIDNqQrOZGAWG3B6Q
提取码：zoiw
放到./darknet文件夹下面

  • 训练指令：
1./darknet detector train cfg/voc.data cfg/yolo-obj.cfg yolov4.conv.137 -gpus 6,7  # 多GPU训练

训练好的权重文件将会保存在./darknet/backup文件夹下面

  • 若在服务器上训练，无法可视化损失窗口，则使用如下命令：
1./darknet detector train cfg/voc.data cfg/yolo-obj.cfg yolov4.conv.137 -dont_show
  • 在没有GUI的远程服务器上进行训练期间查看mAP和损失图，使用命令
./darknet detector train cfg/voc.data cfg/yolo-obj.cfg yolov4.conv.137 -dont_show -mjpeg_port 8090 -map

在谷歌或者火狐浏览器上查看http://ip-address:8090

  • 继续训练指令：
./darknet detector train cfg/voc.data cfg/yolo-obj.cfg backup\yolo-obj_2000.weights

其中：backup\yolo-obj_2000.weights为最后的模型

预测

1 ./darknet detector test cfg/voc.data cfg/yolov4-custom.cfg yolov4-custom_xxxx.weights
摇曳的树
关注
  • 10
    点赞
  • 踩
  • 77
    收藏
    觉得还不错? 一键收藏
  • 2
    评论
yolov4 训练自己的数据集
reset2021的博客
07-22 1279
基于yolov4算法训练自己的数据集，从实操入手
使用Yolov4训练自己的数据集(20240415版）
Gltu_java的博客
04-15 2684
本实验使用了Yolov4和PyTorch训练了水果数据集，实现水果的识别分类，数据集主要有dragon fruit，snake fruit，pineapple(火龙果、蛇果、菠萝)三种水果的图片共计200张，最后mAP达到89.17%，并成功预测了水果图片的类别。
yolov4训练自己的数据集
cheryl88的博客
12-05 3628
YOLOv4训练自己的数据集1、电脑配置2、下载并配置 1、电脑配置 win10、OpenCV4.1、VS2019、cuda10.2 2、下载并配置 （1）YOLOv4网址：https://github.com/AlexeyAB/darknet 克隆到本地后，开始配置 （2）打开：D:\darknet\build\darknet（我下载在D盘，路径按照自己的打开） （3）在文件夹C:\Program Files (x86)\opencv\build\x64\vc15\bin的两个dll文件： opencv
【YOLOv8系列】（四）YOLOv8使用自己的数据集进行模型训练，成就感满满
最新发布
weixin_44765053的博客
07-13 2650
通过爬虫程序批量下载网络上的图片数据集，或者使用相机或其他来源收集您需要的图片使用标注工具对图片中的目标进行标注。LabelImg：一个开源的图像标注工具，支持VOC和YOLO格式。可以从LabelImg官网下载。LabelMe：一个在线的图像标注工具，支持多种标注格式。可以从LabelMe官网使用。Roboflow：一个在线平台，提供数据集管理和标注工具。可以从Roboflow官网使用。
YoloV4训练自己的数据集
热门推荐
LK007CX的博客
11-16 1万+
YoloV4训练自己的数据集
使用Yolov4训练自己的数据集
jiangzhangbing的博客
04-28 737
YOLOV4是一种目标检测算法，是YOLO（You Only Look Once）系列的最新版本。YOLO算法通过将目标检测任务转化为一个回归问题来实现实时目标检测，它将图像划分为网格并在每个网格中预测边界框及其相关的类别概率。YOLOV4相比之前的版本具有更高的检测精度和更快的检测速度，它采用了一系列的改进和优化，包括网络结构的改进、损失函数的优化、数据增强的策略等。YOLOV4在计算机视觉领域得到了广泛的应用，在实时目标检测、视频分析、自动驾驶等领域具有重要的意义。
yolov4训练自己的数据集，基于darknet框架
cumtchw
09-10 2246
一：安装darknet git clone https://github.com/AlexeyAB/darknet/ 修改makefile里面的值， GPU=1 CUDNN=1 CUDNN_HALF=1 OPENCV=1 OPENMP=1 LIBSO=1 DEBUG=1 然后进行编译 cd darknet make 二：首先以VOC的数据格式准备好自己的数据 VOCdevkit VOC2007 Annotations ImageSets ...
yolov8训练自己的数据集（源码）.rar
05-09
在这个项目中，你将找到训练自己数据集的源代码，这对于定制化应用非常有用，比如自动驾驶、安防监控、工业检测等领域。让我们深入了解一下YOLOv8及其训练自定义数据集的关键知识点。 1. YOLO（You Only Look Once...
基于YOLOv7训练自己数据集源码+voc转yolo脚本.rar
04-14
1、资源内容：基于yolov7训练自己数据集（完整源码+说明文档+数据）.rar 2、代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计...
yolov5训练visdrone数据集
05-09
总之，使用YOLOv5训练VisDrone数据集涉及数据预处理、模型配置、训练、验证和部署等多个环节，整个过程需要深入理解YOLOv5的架构和VisDrone数据集的特点，以便优化模型性能并满足具体应用场景的需求。在实际操作中，...
YOLOv4训练自己的数据集
10-19
YOLOv4训练自己的数据集涉及到一系列步骤，包括数据预处理、模型配置、训练过程以及可能的模型优化。以下是对这些知识点的详细说明： 1. 数据预处理： - 数据集准备：首先，你需要一个包含标注的图像数据集，每个...
yoloV4自己的数据集.zip
04-29
刚刚出了yoloV4，相信很多人都需要使用并训练测试，数据集的处理和获取很麻烦，这个是我自己的训练数据集，已经训练过了没任何问题，需要调试源码的随时联系。YOLO V4自己的数据集。
yolov7训练自己的数据集+教程+二维码检测
07-12
该资源主要包括： 1.基于yolov7的训练好的二维码检测模型 2.二维码的yolo格式数据集 3.yolov7训练自己的数据集的教程 4.yolov7环境配置教程 5.yolov7训练测试教程 6.上千张已标注好的二维码数据集
yolov4训练自己的数据集，详细教程！
JulyLi2019的博客
03-29 7709
系列文章目录 文章目录系列文章目录创建yolo-obj.cfg 配置文件一、pandas是什么？二、使用步骤1.引入库2.读入数据总结 创建yolo-obj.cfg 配置文件 将 yolov4-custom.cfg 中的内容复制到 yolo-obj.cfg里面，并做以下修改： 一、pandas是什么？ 示例：pandas 是基于NumPy 的一种工具，该工具是为了解决数据分析任务而创建的。 二、使用步骤 1.引入库 代码如下（示例）： import numpy as np import pandas a
yolov4——训练自己的数据集(完整版)
qq_38800014的博客
05-13 8076
好了，多的也不说，直接开始吧！ 1.下载预训练的好权重文件 yolov4.conv.137,放在build/darknet/x64/下 2.创建配置文件：在darknet-master/cfg/下，创建yolo-obj_fre.cfg： 这个文件里面的内容跟cfg/yolov4-custom.cfg类似，只是有几个地方需要修改 1) batch=8 #依据你电脑的显存大小而定，尽量设大一点 2) subdivisions=64 # 这里最好设为
使用yolov4训练自己的数据集
weixin_43500354的博客
05-28 2245
环境：ubuntu16.04 cuda8.0 cudnn6.0.1 GT1070 1，GitHub：https://github.com/AlexeyAB/darknet下载 2，编译； ①修改makefile文件 GPU=1 CUDNN=1 CUDNN_HALF=0#这里如果显卡计算能力小于7.0，不需要改为1 OPENCV=1 AVX=0 OPENMP=1 LIBSO=1 ‘’‘ DEBUG=1 NVCC=/usr/local/cuda-8.0/bin/nvcc#改为自己的路径 ②make 备注：常见错
YoloV4训练自己的数据集(一)
weixin_45718019的博客
12-21 1386
本系列主要介绍使用YoloV4训练自己的数据集，本文主要介绍下载Yolo网络以及编译测试等内容。 环境配置：以下内容均在Ubuntu16.04系统实现，显卡RTX2070S。 1.介绍 Yolo是由Joseph Redmon在读博期间提出的一种目标检测算法，兼顾了实时检测以及训练成本等问题。大家可以去看一下大神在TED的演讲。 但遗憾的是作者在今年宣布永远退出CV界： 不过幸好，原来团队中的Alexey Bochkovskiy以及两外两位中国学者扛起Yolo的大旗，并且得到了Joseph Redmon的
使用YOLOv4训练自己数据集
05-04
使用YOLOv4训练自己的数据集需要以下步骤： 1. 准备数据集：收集并标注图片数据集，标注应该包括类别、边界框、置信度等信息。 2. 修改配置文件：打开YOLOv4源代码文件夹，找到`cfg`文件夹，复制`yolov4.cfg`文件并重命名为`yolov4_training.cfg`，修改文件中的类别数、过滤器数量、anchors等参数。 3. 准备训练文件：在YOLOv4源代码文件夹中创建一个新的文件夹，用于存储训练所需的所有文件，包括数据集、配置文件、类别名称等。 4. 准备预训练模型：下载YOLOv4的预训练模型，并将其放置在刚才创建的训练文件夹中。 5. 开始训练：运行`train.py`脚本开始训练模型。训练过程中可以调整超参数和学习率等参数。 6. 测试模型：完成训练后，可以使用测试图片来评估模型的性能，以及查看模型的输出结果。
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值