Yolov5训练笔记

最新推荐文章于 2024-08-07 19:34:39 发布
最新推荐文章于 2024-08-07 19:34:39 发布
阅读量3.4k 收藏 32
点赞数 2
分类专栏： 目标检测 文章标签： python 深度学习 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_37546267/article/details/107361055
版权

   Yolov4刚出来没多久，就迎来了Yolov5的面世，尽管其名称还存在很多争议(它配不配叫yolov5的问题)，因为其主要是一些工程方面的优化，没有相应的论文，其性能显著优于yolo之前的版本，也包括yolov4。对于我个人而言，好用就行了！本文详细介绍使用yolov5训练自己的数据集的过程。

安装Yolov5

  1. 将yolov5的代码从github拉下来
git clone https://github.com/ultralytics/yolov5
  1. 安装相应的环境依赖
       通常我们可以使用anaconda等工具创建一个独立的虚拟环境，然后再安装相关的依赖
pip install -U -r requirements.txt

   使用pip安装依赖包的时候，一般可以添加国内源，以加快安装速度，比如使用清华源安装opencv-python:

pip install opencv-python -i https://pypi.tuna.tsinghua.edu.cn/simple

制作自己的数据集

  1. 数据标注
       一般我们会使用labelImg工具来标注我们的训练图像，如果没有用过这个工具，请自行百度，工具界面如下：
    在这里插入图片描述
       一张图像的标签内容如下：
    在这里插入图片描述
       由于labelImg工具标注的训练数据是VOC格式，其每个图像的标签存在一个xml文件中，而yolov5工程使用coco数据集格式训练，我们需要将自己标注的标签文件转换成需要的类型，这里提供两个脚本：

   首先是划分训练/验证集，在data目录下包含存放训练图像的目录images和存放标签文件(xml文件)的目录Annotations，创建ImageSets目录，在images和Annotations的同级目录下运行train_val.py脚本，会生成两个txt文件在ImageSets/Main下。

# train_val.py
import os
import random

trainval_percent = 0.1   #可自行进行调节
train_percent = 1
xmlfilepath = 'Annotations'
txtsavepath = 'ImageSets\Main'
total_xml = os.listdir(xmlfilepath)
num = len(total_xml)
list = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list, tv)
train = random.sample(trainval, tr)
#ftrainval = open('ImageSets/Main/trainval.txt', 'w')
ftest = open('ImageSets/Main/test.txt', 'w')
ftrain = open('ImageSets/Main/train.txt', 'w')
#fval = open('ImageSets/Main/val.txt', 'w')
 
for i in list:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        #ftrainval.write(name)
        if i in train:
            ftest.write(name)
        #else:
            #fval.write(name)
    else:
        ftrain.write(name)
#ftrainval.close()
ftrain.close()
#fval.close()
ftest.close()

   然后是转换成coco的数据格式，在data的同级目录下运行make_label.py脚本，生成label文件，这里需要根据自己的实际检测类别修改代码里面的class列表。

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

sets = ['train', 'test']
classes = ['1','2', '3', '4', '5', '6']  #自己训练的类别
def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)

def convert_annotation(image_id):
    in_file = open('data/Annotations/%s.xml' % (image_id))
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
wd = getcwd()
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/Main/%s.txt' % (image_set)).read().strip().split()
    list_file = open('data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('data/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

   正确的label文件应该长的下面的样子：
在这里插入图片描述

训练模型

   首先，模型参数配置方面，作者提供了几种不同大小模型的参数配置
在这里插入图片描述   由于我使用的gpu较差，这里我使用的是YOLOv5s版本(这几个里面最小的模型)，其参数配置(models下的yolov5s.ymal文件)如下：

# parameters
nc: 6  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple

# anchors
anchors:
  - [116,90, 156,198, 373,326]  # P5/32
  - [30,61, 62,45, 59,119]  # P4/16
  - [10,13, 16,30, 33,23]  # P3/8
  # - [5,6, 7,9, 12,10]      # P2/4

# YOLOv5 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Focus, [64, 3]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, BottleneckCSP, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 9, BottleneckCSP, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, BottleneckCSP, [512]],
   [-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
   [-1, 1, SPP, [1024, [5, 9, 13]]],
  ]

# YOLOv5 head
head:
  [[-1, 3, BottleneckCSP, [1024, False]],  # 9:20

   [-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']], # 11:40
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4:40
   [-1, 3, BottleneckCSP, [512, False]],  # 13

   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],  # cat backbone P3:80
   [-1, 3, BottleneckCSP, [256, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1]],  # 18 (P3/8-small)

   [-2, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, BottleneckCSP, [512, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1]],  # 22 (P4/16-medium)

   [-2, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, BottleneckCSP, [1024, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1]],  # 26 (P5/32-large)

   [[], 1, Detect, [nc, anchors]],  # Detect(P5, P4, P3)
  ]

   几个版本的参数配置只有depth_multiple和width_multiple两个参数不同，代表模型的深度和宽度。这里我们需要修改开头的nc参数，代表需要检测的类别数量。

   其次是修改data目录下的coco.yaml文件，才能正确的加载自己的数据进行训练，其内容如下：

# train and val datasets (image directory or *.txt file with image paths)
train: ../coco/train2017.txt  # 118k images
val: ../coco/val2017.txt  # 5k images
test: ../coco/test-dev2017.txt  # 20k images for submission to https://competitions.codalab.org/competitions/20794

# number of classes
nc: 80

# class names
names: ['person', 'bicycle', 'car', 'motorcycle', 'airplane', 'bus', 'train', 'truck', 'boat', 'traffic light',
        'fire hydrant', 'stop sign', 'parking meter', 'bench', 'bird', 'cat', 'dog', 'horse', 'sheep', 'cow',
        'elephant', 'bear', 'zebra', 'giraffe', 'backpack', 'umbrella', 'handbag', 'tie', 'suitcase', 'frisbee',
        'skis', 'snowboard', 'sports ball', 'kite', 'baseball bat', 'baseball glove', 'skateboard', 'surfboard',
        'tennis racket', 'bottle', 'wine glass', 'cup', 'fork', 'knife', 'spoon', 'bowl', 'banana', 'apple',
        'sandwich', 'orange', 'broccoli', 'carrot', 'hot dog', 'pizza', 'donut', 'cake', 'chair', 'couch',
        'potted plant', 'bed', 'dining table', 'toilet', 'tv', 'laptop', 'mouse', 'remote', 'keyboard', 'cell phone',
        'microwave', 'oven', 'toaster', 'sink', 'refrigerator', 'book', 'clock', 'vase', 'scissors', 'teddy bear',
        'hair drier', 'toothbrush']

   这里我们需要将所有的参数都更改为自己的数据，train、val、test分别为训练，验证，测试集的位置，按照之前的脚本，生成的文件在data目录下，nc为自己的检测类别数量，注意这里没有背景类，names为自己标注时候的类别label。

   最后可以调整一下train.py中的参数

check_git_status()
    parser = argparse.ArgumentParser()
    parser.add_argument('--epochs', type=int, default=200)
    parser.add_argument('--batch-size', type=int, default=16)
    parser.add_argument('--cfg', type=str, default='models/yolov5s.yaml', help='*.cfg path')
    parser.add_argument('--data', type=str, default='data/coco.yaml', help='*.data path')
    parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='train,test sizes')
    parser.add_argument('--rect', action='store_true', help='rectangular training')
    parser.add_argument('--resume', action='store_true', help='resume training from last.pt')
    parser.add_argument('--nosave', action='store_true', help='only save final checkpoint')
    parser.add_argument('--notest', action='store_true', help='only test final epoch')
    parser.add_argument('--noautoanchor', action='store_true', help='disable autoanchor check')
    parser.add_argument('--evolve', action='store_true', help='evolve hyperparameters')
    parser.add_argument('--bucket', type=str, default='', help='gsutil bucket')
    parser.add_argument('--cache-images', action='store_true', help='cache images for faster training')
    parser.add_argument('--weights', type=str, default='./weights/init.pt', help='initial weights path')
    parser.add_argument('--name', default='', help='renames results.txt to results_name.txt if supplied')
    parser.add_argument('--device', default='0', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
    parser.add_argument('--adam', action='store_true', help='use adam optimizer')
    parser.add_argument('--multi-scale', action='store_true', help='vary img-size +/- 50%')
    parser.add_argument('--single-cls', action='store_true', help='train as single-class dataset')

   根据自己的硬件情况，数据量等适当的调整这些参数，开始训练！
在这里插入图片描述

修改网络

   由于作者已经将代码封装得很完美了，如果我们需要简单的修改一下网络结构，只需要修改models下面的.ymaxl文件就够了，比如我们需要检测更小的目标，想要添加一个检测层，可以对yolov5s.ymal文件修改如下：

# parameters
nc: 5  # number of classes
depth_multiple: 0.33  # model depth multiple
width_multiple: 0.50  # layer channel multiple

# anchors
anchors:
  - [116,90, 156,198, 373,326]  # P5/32
  - [30,61, 62,45, 59,119]  # P4/16
  - [10,13, 16,30, 33,23]  # P3/8
  - [5,6, 7,9, 12,10]      # P2/4

# YOLOv5 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Focus, [64, 3]],  # 0-P1/2
   [-1, 1, Conv, [128, 3, 2]],  # 1-P2/4
   [-1, 3, BottleneckCSP, [128]],
   [-1, 1, Conv, [256, 3, 2]],  # 3-P3/8
   [-1, 9, BottleneckCSP, [256]],
   [-1, 1, Conv, [512, 3, 2]],  # 5-P4/16
   [-1, 9, BottleneckCSP, [512]],
   [-1, 1, Conv, [1024, 3, 2]], # 7-P5/32
   [-1, 1, SPP, [1024, [5, 9, 13]]],
  ]

# YOLOv5 head
head:
  [[-1, 3, BottleneckCSP, [1024, False]],  # 9:20

   [-1, 1, Conv, [512, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']], # 11:40
   [[-1, 6], 1, Concat, [1]],  # cat backbone P4:40
   [-1, 3, BottleneckCSP, [512, False]],  # 13

   [-1, 1, Conv, [512,1,1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [[-1, 4], 1, Concat, [1]],
   [-1,3,BottleneckCSP, [512, False]],


   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']], 
   [[-1, 2], 1, Concat, [1]],  # cat backbone P3:80
   [-1, 3, BottleneckCSP, [256, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1]],  # 18 (P3/8-small)

   [-1, 1, Conv, [256, 3, 2]],
   [[-1, 18], 1, Concat, [1]],
   [-1, 3, BottleneckCSP, [256, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1]],


   [-2, 1, Conv, [256, 3, 2]],
   [[-1, 14], 1, Concat, [1]],  # cat head P4
   [-1, 3, BottleneckCSP, [512, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1]],  # 22 (P4/16-medium)

   [-2, 1, Conv, [512, 3, 2]],
   [[-1, 10], 1, Concat, [1]],  # cat head P5
   [-1, 3, BottleneckCSP, [1024, False]],
   [-1, 1, nn.Conv2d, [na * (nc + 5), 1, 1]],  # 26 (P5/32-large)

   [[], 1, Detect, [nc, anchors]],  # Detect(P5, P4, P3)
  ]

模型测试

   官方提供的测试脚本：

$ python detect.py --source ./inference/images/ --weights yolov5s.pt --conf 0.4
CabbageWust
关注
专栏目录
yolov5训练优化笔记
jacke121的专栏
04-16 97
yolov5抠图训练笔记
Yolov5训练过程
carrymingteng的博客
04-08 2858
Yolov5-v3.0训练过程 文章目录***Yolov5-v3.0训练过程***一、资源下载二、环境配置三、准备自己的数据集（VOC格式）1.利用train_val.py文件生成test.txt train.txt trainval.txt val.txt2.利用voc_label.py文件将xml文件转换为txt文件3.配置文件（1）创建ab.yaml文件（2）修改yolov5s.yaml文件四、训练模型1.修改train.py2.模型训练（1）先激活自己的环境（2）开始训练（3）过程可视化 一、资源
YOLOV5 训练
greatcoder的博客
06-09 2968
windows上安装可以参考这篇。
【YOLOv5】 使用教程：从环境配置到模型推理
zhuxiang997的博客
07-25 1815
YOLOv5 是一个流行的目标检测模型，它在精度和速度方面都表现优异。本文将为你提供一个全面的指南，从环境配置到如何训练和使用 YOLOv5 进行目标检测。
yolov5训练
wuxulong123的博客
01-30 202
首先安装vc++2015 再下载我上传的资源 打开文件之后如下 用cmd cd到下面文件的路径，再使用python setup.py build_ext --inplace命令安装即可。
yolov5模型训练
weixin_44929001的博客
02-03 636
YOLOv5 目标检测 模型训练 YOLOv5的优势：使用PyTorch进行编写。可以轻松编译成ONNX和CoreML。速度极快，每秒140FPS。精度超高，可以达到0.895mAP。体积很小：27M。集成了YOLOv3-spp和YOLOv4部分特性。
教程：超详细从零开始yolov5模型训练
热门推荐
qq_45701791的博客
02-23 25万+
本文将介绍yolov5从环境搭建到模型训练的整个过程。最后训练识别哆啦A梦的模型。 1.anconda环境搭建 2.yolov5下载 3.素材整理 4.模型训练 5.效果预测 - Anconda环境搭建 提醒：所有操作都是在anconda的yolo的环境下进行的，在创建yolo环境后，之后每次进入CMD都需要切换到yolo环境中去（否则进入默认的base环境中） https://www.anaconda.com/products/individual#Downloads 下载对应版本anconda即可，这里
YOLOv5训练速度慢的一些解决方法
weixin_54048889的博客
11-19 2万+
针对自建数据集，yolov5模型训练速度很慢的可能原因和解决方法。
YOLOV5实战教程（超级详细图文教程）！！！_yolov5训练
2401_84009993的博客
04-21 2098
png)
yolov5 训练结果解析
m0_54111890的博客
03-08 3万+
yolov5 训练结果解析 在每次训练之后，都会在runs-train文件夹下出现一下文件，如下图： 一：weights 包含best.pt（做detect时用这个）和last.pt（最后一次训练模型） 二：confusion 1：混淆矩阵： ①：混淆矩阵是对分类问题的预测结果的总结。使用计数值汇总正确和不正确预测的数量，并按每个类进行细分，这是混淆矩阵的关键所在。混淆矩阵显示了分类模型的在进行预测时会对哪一部分产生混淆。它不仅可以让我们了解分类模型所犯的错误，更重要的是可以了解哪些错.
yolov5 模型训练
m0_73862068的博客
10-29 859
进入路径D:\yolov5-master\data并建立文件夹images（存放要打标签的图片），dataset（存放打好标签后的数据集），labels（存放数据标签）。在images文件夹内放入用来训练模型但还未进行标注的数据集（图片），注意图片格式需为JPG格式。以管理员身份打开终端命令行，输入labelimg打开labelimg程序（对图片进行数据标注的程序），如果没有labelimg则输入pip install labelimg命令进行安装后再打开打开labelimg后界面如下在进行数据标注之前，我
yolov5训练教程
IT菜鸟
10-09 2792
一、参考资料 yolov5官方仓库 二、下载COCO数据集 从格物钛网站下载 COCO 1. 下载COCO数据集txt格式标签 YOLOv5 COCO数据集 训练 | 【YOLOv5 训练】 下载链接 三、COCO格式转yolov5训练格式 COCO格式转yolov5训练格式 import json with open('/home/yoyo/Downloads/COCO/annotations/instances_train2017.json') as f: Json = json.load(
yolov5：训练自己的数据模型
qq_41478219的博客
07-29 1135
利用yolov5模型，训练自己的数据模型
YOLOv5训练自己的数据集（从代码下载到实例测试）
最新发布
qq_42591591的博客
08-07 1395
在Windows10上配置CUDA环境教程YOLOv5是在计算机视觉目标检测领域中具有重要影响力的算法模型，广泛应用于智能驾驶、安防监控、工业检测、机器人视觉等众多需要实时目标检测的场景中，源代码在如今也是一直在更新着。Mosaic数据增强：参考2019 年提出的cutmix数据增强方式，采用4张图片，进行随机缩放、随机裁剪、随机排布的方式拼接，大大丰富了检测数据集，特别是增加了很多小目标，使得网络具有更好的鲁棒性，并且在小批量情况下也能达到较好训练效果。
YOLOv5训练技巧
@bangbang的博客
08-18 5797
文章目录1. 学习率调整策略1.1 训练预热 Warmup1.2 余弦退火调整学习率 CosineAnnealingLR2. 自动调整锚框(Autoanchor)3. 超参数进化(hyperparameter evolution)4. 自动混合精度训练5. 断点续训6. Multi-GPU Training7. 并行数据加载参考 1. 学习率调整策略 1.1 训练预热 Warmup 刚开始训练时，模型权重(weights)是随机初始化的，此时若选择一个较大的学习率，可能带来模型的不稳定（振
yolov5训练自己的模型（最新最详细版本）
weixin_45398265的博客
04-05 9073
使用yolov5训练自己的模型，最新，最全
yolov5训练自己的数据集(从零开始)
qq_52859223的博客
03-24 5万+
小白都会学习的文章
YOLOv5训练实战：环境配置与数据集制作
"YOLOv5训练笔记，记录了作者在学习YOLOv5目标检测模型的训练过程中遇到的问题及解决方法，包括环境配置、数据标注、模型训练等环节。" YOLOv5是一种高效且准确的目标检测模型，由Joseph Redmon等人开发，后续版本...
评论 4
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值