YOLOv5训练自己的数据集（从代码下载到实例测试）

于 2024-08-07 19:34:39 发布
阅读量620 收藏 6
点赞数 11
分类专栏： YOLO系列模型改进 模型训练 文章标签： YOLO 计算机视觉 目标检测
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_42591591/article/details/140717626
版权

文章目录

前言

提示：本文是YOLOv5训练自己数据集的记录教程，需要大家在本地已配置好CUDA,cuDNN等环境，没配置的小伙伴可以查看我的往期博客：在Windows10上配置CUDA环境教程

YOLOv5是在计算机视觉目标检测领域中具有重要影响力的算法模型，广泛应用于智能驾驶、安防监控、工业检测、机器人视觉等众多需要实时目标检测的场景中，源代码在如今也是一直在更新着。

在这里插入图片描述

代码地址：https://github.com/ultralytics/yolov5

在这里插入图片描述

一、YOLOv5简介

  • 输入端：

    • Mosaic数据增强：参考2019 年提出的cutmix数据增强方式，采用4张图片，进行随机缩放、随机裁剪、随机排布的方式拼接，大大丰富了检测数据集，特别是增加了很多小目标，使得网络具有更好的鲁棒性，并且在小批量情况下也能达到较好训练效果。
    • 自适应锚框计算：每次训练时会自适应计算不同训练集中的最佳锚框值，利于网络快速收敛。
    • 自适应图片缩放：减少图像预处理的计算量等。

  • Backbone（骨干网络）：

    • 不同版本有差异，如yolov5 6.1版本中采用new CSP - Darknet53等。
    • Focus结构：类似Yolov2的passthrough结构，先切片操作后拼接再卷积等。
    • CSP结构：借鉴CSPNet网络结构，由卷积层和残差模块等组成。

  • Neck：

    • 采用FPN + PAN的结构（同YOLOv4类似），即除了上采样外，又增加了一部分下采样模块，能融合更丰富的特征。

二、环境搭建

在配置好CUDA环境，并且获取到YOLOv5源码后，建议新建一个虚拟环境专门用于YOLOv5模型的训练。将YOLOv5加载到环境后，安装剩余的包。requirements.txt 中包含了运行所需的包和版本，利用以下命令批量安装：

pip install -r requirements.txt

三、构建数据集

YOLOv5模型的训练需要原图像及对应的YOLO格式标签，还未制作标签的可以参考我这篇文章：LabelImg安装与使用教程。

我的原始数据存放在根目录的data文件夹（新建的）下，里面包含图像和标签。
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

标签内的格式如下：
在这里插入图片描述

具体格式为 class_id x y w h，分别代表物体类别，标记框中心点的横纵坐标(x, y)，标记框宽高的大小(w, h)，且都是归一化后的值，图片左上角为坐标原点。

将原本数据集按照8：1：1的比例划分成训练集、验证集和测试集三类，划分代码如下。

# 将图片和标注数据按比例切分为 训练集和测试集
import shutil
import random
import os
 
# 原始路径
image_original_path = "originaldata/images/"
label_original_path = "originaldata/labels/"
 
cur_path = os.getcwd()
#cur_path = 'D:/image_denoising_test/denoise/'
# 训练集路径
train_image_path = os.path.join(cur_path, "datasets/images/train/")
train_label_path = os.path.join(cur_path, "datasets/labels/train/")
 
# 验证集路径
val_image_path = os.path.join(cur_path, "datasets/images/val/")
val_label_path = os.path.join(cur_path, "datasets/labels/val/")
 
# 测试集路径
test_image_path = os.path.join(cur_path, "datasets/images/test/")
test_label_path = os.path.join(cur_path, "datasets/labels/test/")
 
# 训练集目录
list_train = os.path.join(cur_path, "datasets/train.txt")
list_val = os.path.join(cur_path, "datasets/val.txt")
list_test = os.path.join(cur_path, "datasets/test.txt")
 
train_percent = 0.8
val_percent = 0.1
test_percent = 0.1
 
 
def del_file(path):
    for i in os.listdir(path):
        file_data = path + "\\" + i
        os.remove(file_data)
 
 
def mkdir():
    if not os.path.exists(train_image_path):
        os.makedirs(train_image_path)
    else:
        del_file(train_image_path)
    if not os.path.exists(train_label_path):
        os.makedirs(train_label_path)
    else:
        del_file(train_label_path)
 
    if not os.path.exists(val_image_path):
        os.makedirs(val_image_path)
    else:
        del_file(val_image_path)
    if not os.path.exists(val_label_path):
        os.makedirs(val_label_path)
    else:
        del_file(val_label_path)
 
    if not os.path.exists(test_image_path):
        os.makedirs(test_image_path)
    else:
        del_file(test_image_path)
    if not os.path.exists(test_label_path):
        os.makedirs(test_label_path)
    else:
        del_file(test_label_path)
 
 
def clearfile():
    if os.path.exists(list_train):
        os.remove(list_train)
    if os.path.exists(list_val):
        os.remove(list_val)
    if os.path.exists(list_test):
        os.remove(list_test)
 
 
def main():
    mkdir()
    clearfile()
 
    file_train = open(list_train, 'w')
    file_val = open(list_val, 'w')
    file_test = open(list_test, 'w')
 
    total_txt = os.listdir(label_original_path)
    num_txt = len(total_txt)
    list_all_txt = range(num_txt)
 
    num_train = int(num_txt * train_percent)
    num_val = int(num_txt * val_percent)
    num_test = num_txt - num_train - num_val
 
    train = random.sample(list_all_txt, num_train)
    # train从list_all_txt取出num_train个元素
    # 所以list_all_txt列表只剩下了这些元素
    val_test = [i for i in list_all_txt if not i in train]
    # 再从val_test取出num_val个元素，val_test剩下的元素就是test
    val = random.sample(val_test, num_val)
 
    print("训练集数目：{}, 验证集数目：{}, 测试集数目：{}".format(len(train), len(val), len(val_test) - len(val)))
    for i in list_all_txt:
        name = total_txt[i][:-4]
 
        srcImage = image_original_path + name + '.jpg'
        srcLabel = label_original_path + name + ".txt"
 
        if i in train:
            dst_train_Image = train_image_path + name + '.jpg'
            dst_train_Label = train_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_train_Image)
            shutil.copyfile(srcLabel, dst_train_Label)
            file_train.write(dst_train_Image + '\n')
        elif i in val:
            dst_val_Image = val_image_path + name + '.jpg'
            dst_val_Label = val_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_val_Image)
            shutil.copyfile(srcLabel, dst_val_Label)
            file_val.write(dst_val_Image + '\n')
        else:
            dst_test_Image = test_image_path + name + '.jpg'
            dst_test_Label = test_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_test_Image)
            shutil.copyfile(srcLabel, dst_test_Label)
            file_test.write(dst_test_Image + '\n')
 
    file_train.close()
    file_val.close()
    file_test.close()
 
 
if __name__ == "__main__":
    main()

划分完成后将会在datasets文件夹下生成划分好的文件，其中images为划分后的图像文件，里面包含用于train、val、test的图像，已经划分完成；labels文件夹中包含划分后的标签文件，已经划分完成，里面包含用于train、val、test的标签；train.tet、val.txt、test.txt中记录了各自的图像路径。

在这里插入图片描述

在这里插入图片描述

在训练过程中，也是主要使用这三个txt文件进行数据的索引。

划分完数据后，项目内的文件如下：

在这里插入图片描述

四、修改配置文件

①数据集文件配置

数据集划分完成后，在项目的datasets文件下，在data文件夹下新建customer.yaml，替代coco.yaml。用于指明数据集路径和类别，我这边只有一个类别，names中只留了一个，并替换成自己的类别名，多类别的在names内加上类别名即可。customer.yaml中的内容为：

path: datasets  # 存放数据的文件路径
train: train.txt  # train images (relative to 'path') 118287 images
val: val.txt  # val images (relative to 'path') 5000 images
test: test.txt  # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# Classes
names:
  0: iw

在这里插入图片描述

②权重下载

模型训练的时候，需要用到模型的预训练权重。在下载的代码中就已经在根目录中配备了yolov5s.pt,用于YOLOv5s模型的训练。 其余的模型需要到官网下载预训练权重，权重地址为：https://github.com/ultralytics/yolov5/releases

其余权重下载完成后，在项目根目录新建weights文件夹，将下载的权重放到里面，要用哪个版本的模型加载哪个权重即可

在这里插入图片描述

在这里插入图片描述

③模型文件配置

YOLOv5的模型文件在models文件夹下，我使用的模型文件时YOLOv5s,所以新建了一个yaml文件customer.yaml，将yolov5s.yaml文件中的内容复制到customer.yaml下，并将nc修改成1。

在这里插入图片描述

customer.yaml文件中的内容如下：

# YOLOv5 🚀 by Ultralytics, GPL-3.0 license

# Parameters
nc: 1  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple
anchors:
  - [10,13, 16,30, 33,23]  # P3/8
  - [30,61, 62,45, 59,119]  # P4/16
  - [116,90, 156,198, 373,326]  # P5/32

# YOLOv5 v6.0 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [64, 6, 2, 2]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, C3, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 6, C3, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, C3, [512]],
   [-1, 1, Conv, [1024, 3, 2]],  # 7-P5/32
   [-1, 3, C3, [1024]],
   [-1, 1, SPPF, [1024, 5]],  # 9
  ]

# YOLOv5 v6.0 head
head:
  [[-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4
   [-1, 3, C3, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3
   [-1, 3, C3, [256, False]],  # 17 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, C3, [512, False]],  # 20 (P4/16-medium)

   [-1, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, C3, [1024, False]],  # 23 (P5/32-large)

   [[17, 20, 23], 1, Detect, [nc, anchors]],  # Detect(P3, P4, P5)
  ]

④训练参数配置

在模型配置中，YOLOv5只需要修改项目根目录中的train.py,在429行处的 def parse_opt(known=False):函数中，主要修改weights、cfg、data、hyp、epochs、batch-size、imgsz、device以及workers。这些参数已足够顺利训练了，其他参数就是一些后续的调参工作了。

weight是配置预训练权重的路径，将default中的内容修改成下载的权重路径，也可以为空，不使用预训练权重，权重放在其他文件夹下的注意加上文件夹路径。

parser.add_argument('--weights', type=str, default=ROOT / 'yolov5s.pt', help='initial weights path')

cfg是配置模型文件的路径，将default中的内容修改成新的模型文件。

parser.add_argument('--cfg', type=str, default='models/yolov5s-test.yaml', help='model.yaml path')

data是配置数据集文件的路径，将default中的内容修改成自己的数据集yaml文件。

parser.add_argument('--data', type=str, default=ROOT / 'data/customer.yaml', help='dataset.yaml path')

hyp是模型训练过程中的超参数，可在data/hyps文件夹下选择不同的超参数。

parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch-low.yaml', help='hyperparameters path')

epochs指训练的轮次，这里我这边在default中定了一个300次，只要模型能收敛即可。

parser.add_argument('--epochs', type=int, default=300, help='total training epochs')

batch-size是表示一次性将多少张图片放在一起训练，越大训练的越快，如果设置的太大会报OOM错误，我这边在default中设置16，表示一次训练16张图像。设置的大小为2的幂次，1为2的0次，16为2的4次。

parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs, -1 for autobatch')

imgsz表示送入训练的图像大小，会统一进行缩放。要求是32的整数倍，尽量和图像本身大小一致。这边在default中设置为640。

parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=640, help='train, val image size (pixels)')

device指训练运行的设备。该参数指定了模型训练所使用的设备，例如使用 GPU 运行可以指定为 default=‘0’，或者使用多个 GPU 运行可以指定为 device=0,1,2,3，如果没有可用的 GPU，可以指定为 device=‘cpu’ 使用 CPU 进行训练。

parser.add_argument('--device', default='0', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')

workers是指数据装载时cpu所使用的线程数，默认为8，过高时会报错：[WinError 1455] 页面文件太小，无法完成操作，此时就只能将default调成0了。

parser.add_argument('--workers', type=int, default=8, help='max dataloader workers (per RANK in DDP mode)')

在这里插入图片描述

模型训练的相关基本参数就是这些啦，其余的参数可以等到后期训练完成进行调参时再详细了解。

五、模型训练和测试

模型训练

在将train.py文件配置完成后，即可运行此文件，便会开始训练啦

在这里插入图片描述
在这里插入图片描述

训练完成后，将会在runs/train/exp/weight文件夹下存放训练后的权重文件。

模型测试

使用val.py进行测试，需要修改331行中的def parse_opt()中的data、weights、batch-size、imgsz、devicey以及task。

其中weights为训练出来的新模型权重，路径在runs/train文件夹下。

parser.add_argument('--weights', nargs='+', type=str, default=ROOT / 'runs/train/exp/weights/best.pt', help='model.pt path(s)')

task，表示在验证时所使用的数据集，这里使用test，数据集中已经划分。

parser.add_argument('--task', default='test', help='train, val, test, speed or study')

其余参数和训练时一致。

在这里插入图片描述

运行val.py文件后便会得出训练精度等相关信息。

在这里插入图片描述

总结

以上就是YOLOv5训练自己数据集的全部过程啦，欢迎大家在评论区交流~

Limiiiing
关注
  • 11
    点赞
  • 踩
  • 6
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
YOLOv8 训练自己的分割数据集
YOLOv8项目贡献者
11-25 6550
如何使用YOLOv8训练分割数据集？
yolov5训练自己的数据集(从零开始)
热门推荐
qq_52859223的博客
03-24 5万+
小白都会学习的文章
YOLOv10训练自己的数据集（从代码下载到实例测试）
qq_42591591的博客
07-30 1105
在Windows10上配置CUDA环境教程YOLOv10是YOLO（You Only Look Once）系列的最新版本，由清华大学的研究人员在Ultralytics Python包的基础上开发完成，并于2024年5月发布。作为一种实时端到端目标检测器，YOLOv10在性能、效率和精度方面均取得了显著提升，是计算机视觉领域的一项重要进展。主要特点无NMS的一致双分配训练策略：YOLOv10引入了无NMS的一致双分配训练策略，结合了一对多和一对一分配策略的优势。
YOLOv9训练自己的数据集（从代码下载到实例测试）
qq_42591591的博客
07-26 1023
在Windows10上配置CUDA环境教程YOLOv9网络于2024年2月21日发布，其通过广义高效层聚合网络（GELAN）、可编程梯度信息（PGI）和辅助可逆分支设计等改进点，使得其在目标检测领域取得了显著的性能提升。在MS COCO数据集上，YOLOv9的四种不同参数数量的模型（v9-T、v9-S、v9-M、v9-C、v9-E）均取得了较高的检测精度，其中最小的模型达到了38.3%的AP，而最大的模型则达到了55.6%的AP。论文摘要翻译。
YOLOv6训练自己的数据集（从代码下载到实例测试）
qq_42591591的博客
08-05 868
在Windows10上配置CUDA环境教程YOLOv6是美团视觉智能部研发的一款面向工业应用的目标检测框架，该框架在保持高检测精度的同时，兼顾了推理效率，是YOLO系列中的又一改进版本。主要特点Hardware-friendly的骨干网络设计YOLOv6采用了基于RepVGG style的可重参数化、更高效的骨干网络EfficientRep Backbone，以及Rep-PAN Neck，这些设计使得网络在推理时能够更有效地利用硬件资源，提高推理速度。更简洁高效的Decoupled Head。
YOLOv7训练自己的数据集（从代码下载到实例测试）
最新发布
qq_42591591的博客
08-05 893
在Windows10上配置CUDA环境教程YOLOv7是YOLO系列目标检测模型的最新版本之一，由Chien-Yao Wang等人在2022年提出。它在YOLOv5的基础上进行了多项创新和改进，旨在提供更高的检测精度，同时保持较快的检测速度。其最主要的是E-ELAN结构，用于更有效地融合不同层次的特征图，可以自动调整不同特征的重要性，提高模型的鲁棒性和准确性。论文摘要翻译。
YOLOv8训练自己的数据集（从代码下载到实例测试）
qq_42591591的博客
07-29 866
在Windows10上配置CUDA环境教程YOLOv8模型是由Ultralytics公司在2023年1月10日开源的，是基于YOLOv5的重大更新版本。网络架构主干网络（Backbone）：采用了一系列卷积和反卷积层来提取特征，同时也使用了残差连接和瓶颈结构来减小网络的大小和提高性能。YOLOv8中，C3模块被替换为C2f模块，实现了进一步的轻量化。
yolov8训练自己的实例分割数据集
耶律大石的博客
07-24 538
参考：2、下载最新yolov8代码。
YOLOv5-6.1从训练到部署（二）：训练自己的数据集
TANTANWANG的博客
12-10 1581
使用YOLOv5训练自己的数据集
YOLOv9-使用YOLOv9训练自己的数据集-目标检测算法训练-优质算法项目实战.zip
03-15
本项目实战旨在指导用户如何使用YOLOv9来训练自己的数据集，以实现特定场景下的目标检测任务。在计算机视觉领域，目标检测是识别图像中不同对象并定位它们的关键技术，广泛应用于自动驾驶、监控系统、图像分析等多个...
使用yolov5训练vehicles数据集-python源码.zip
05-02
在本项目中，我们将深入探讨如何使用Python源码和YOLOv5框架...从数据集的准备、模型训练到测试，整个流程涉及了目标检测领域的多个关键步骤。理解并掌握这些步骤，对于在实际应用中实现高效、精确的车辆检测至关重要。
yolov8实例分割训练和测试过程用到的所有代码文件
10-13
在本文中，我们将深入探讨YOLOv8实例分割训练和测试过程中的关键代码文件及其功能。YOLO（You Only Look Once）是一种实时目标检测算法，而YOLOv8是其最新版本，它在前几代的基础上进行了优化，提高了速度和准确性，...
yolov7实例分割数据集案列
01-13
"yolov7实例分割数据集案列"是一个关于如何利用COCO128数据集进行对象检测与实例分割的实践教程。COCO128数据集是基于流行的COCO（Common Objects in Context）数据集的一个子集，它包含了丰富的图像，用于训练和...
YOLOv5西红柿检测模型+VOC格式数据集
12-30
2. 训练过程：使用YOLOv5提供的代码库，可以加载VOC格式的数据集并开始训练。训练过程中，模型会逐步学习从图像中识别西红柿的特征，并优化其权重以提高预测准确性。训练曲线图记录了模型在训练过程中的损失函数值和...
本科阶段最后一次竞赛Vlog——2024年智能车大赛智慧医疗组准备全过程——2Yolo使用之ONNX模型准备
Azheyangba的博客
08-02 1152
本期，给大家带来了如何在windows训练yolov5，大家可以试试当然本期介绍确实没啥含金量，网上有关教程也满天飞，我也参考了好多大佬的文章，也就是对于大佬们详细版本的总结一下下一期讲给大家带来与地平线更为相关的内容，包括bin模型转化环境，以及转化过程的提炼版本。
YOLOv5工作原理与实现机制
weixin_42132035的博客
08-02 504
YOLOv5 是由 Ultralytics 团队开发的 YOLO 系列的一个版本，尽管它不是 YOLO 原创作者 Joseph Redmon 的作品，但它在性能、易用性和灵活性方面得到了广泛的认可。YOLOv5 采用了全新的架构设计，具备更快的检测速度和更高的检测精度。
YOLOv5轻量化改进 | backbone | 结合MobileNetV4（包含多个结构和使用方式）
qq_44224801的博客
08-03 139
YOLOv5轻量化改进 | backbone | 结合MobileNetV4（包含多个结构和使用方式）
YOLOv8改进 | 激活函数 | 十余种常见的激活函数一键替换【完整代码】
kay_545
08-02 755
yolov8改进，激活函数，yolov8
YOLOv5训练自己数据集
12-01
以下是使用YOLOv5训练自己数据集的步骤： 1. 准备数据集 首先需要准备自己的数据集，包括图片和标注文件。标注文件可以使用常见的格式，如VOC、COCO等。 2. 安装YOLOv5 在使用YOLOv5之前，需要先安装YOLOv5。可以使用以下命令进行安装： ```shell git clone https://github.com/ultralytics/yolov5.git cd yolov5 pip install -r requirements.txt ``` 3. 数据集转换 如果数据集的格式不是YOLOv5所支持的格式，需要将其转换成YOLOv5所支持的格式。可以使用YOLOv5提供的脚本进行转换。例如，如果数据集的格式是VOC，可以使用以下命令进行转换： ```shell python3 ./yolov5/scripts/voc2yolo.py --data_path /path/to/data ``` 4. 配置训练参数 在训练模型之前，需要配置训练参数。可以在YOLOv5的配置文件中进行配置。例如，可以设置训练的批次大小、学习率、迭代次数等参数。 5. 训练模型 配置好训练参数后，可以使用以下命令开始训练模型： ```shell python3 train.py --data /path/to/data --cfg ./models/yolov5s.yaml --weights '' --batch-size 16 ``` 6. 测试模型 训练完成后，可以使用以下命令测试模型： ```shell python3 detect.py --source /path/to/test/images --weights /path/to/best/weights.pt --conf 0.4 ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Limiiiing

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值