YOLOv7训练自己的数据集

Limiiiing

于 2024-08-05 19:52:07 发布

阅读量473

点赞数 16

分类专栏： YOLO系列模型改进模型训练文章标签： YOLO 目标检测计算机视觉

本文链接：https://blog.csdn.net/qq_42591591/article/details/140717607

版权

YOLO系列模型改进同时被 2 个专栏收录

6 篇文章 0 订阅

订阅专栏

模型训练

4 篇文章 0 订阅

订阅专栏

文章目录

前言
一、环境搭建
二、构建数据集
三、修改配置文件
四、模型训练和测试
- 模型训练
- 模型测试
总结

前言

提示：本文是YOLOv7训练自己数据集的记录教程，需要大家在本地已配置好CUDA,cuDNN等环境，没配置的小伙伴可以查看我的往期博客：在Windows10上配置CUDA环境教程

YOLOv7是YOLO系列目标检测模型的最新版本之一，由Chien-Yao Wang等人在2022年提出。它在YOLOv5的基础上进行了多项创新和改进，旨在提供更高的检测精度，同时保持较快的检测速度。其最主要的是E-ELAN结构，用于更有效地融合不同层次的特征图，可以自动调整不同特征的重要性，提高模型的鲁棒性和准确性。

在这里插入图片描述

代码地址：https://github.com/WongKinYiu/yolov7
论文地址：https://arxiv.org/abs/2207.02696

在这里插入图片描述

论文摘要翻译

YOLOv7在速度和精度方面都超过了所有已知的物体探测器，速度和精度范围从5 FPS到160 FPS，在所有已知的准确率中，准确率最高，为56.8%，在GPUV100上具有30 FPS或更高的实时目标检测器。YOLOv7-E6目标探测器(56 FPS V100, 55.9%AP)优于基于变压器的检测器SWINL级联掩模R-CNN (9.2 FPS A100, 53.9% AP)速度为509%，精度为2%，基于卷积的检测器ConvNeXt-XL级联掩码R-CNN (8.6 FPS A100, 55.2% AP)速度提高551% AP提高0.7%精度，以及YOLOv7优于:YOLOX，Scaled-yolov4, YOLOv5, DETR，Deformable DETR、DINO-5scale-R50、ViT-Adapter -B等目标探测器的速度和准确性。此外，我们训练YOLOv7只对MS COCO数据集从零开始没有使用任何其他数据集或预训练的权重。

一、环境搭建

在配置好CUDA环境，并且获取到YOLOv7源码后，建议新建一个虚拟环境专门用于YOLOv7模型的训练。将YOLOv7加载到环境后，安装剩余的包。项目中的requirements.txt 中包含了运行所需的包和版本，利用以下命令批量安装：

pip install -r requirements.txt

二、构建数据集

YOLOv7模型的训练需要原图像及对应的YOLO格式标签，还未制作标签的可以参考我这篇文章：LabelImg安装与使用教程。将原本数据集按照8：1：1的比例划分成训练集、验证集和测试集三类，划分代码如下。我的原始数据存放在originaldata文件夹下，里面包含图像和标签。

在这里插入图片描述

标签内的格式如下：

在这里插入图片描述

具体格式为 class_id x y w h，分别代表物体类别，标记框中心点的横纵坐标(x, y)，标记框宽高的大小(w, h)，且都是归一化后的值，图片左上角为坐标原点。

将原本数据集按照8：1：1的比例划分成训练集、验证集和测试集三类，划分代码如下。

# 将图片和标注数据按比例切分为 训练集和测试集
import shutil
import random
import os
 
# 原始路径
image_original_path = "originaldata/images/"
label_original_path = "originaldata/labels/"
 
cur_path = os.getcwd()
# 训练集路径
train_image_path = os.path.join(cur_path, "data/bubbleplume/images/train/")
train_label_path = os.path.join(cur_path, "data/bubbleplume/labels/train/")
 
# 验证集路径
val_image_path = os.path.join(cur_path, "data/bubbleplume/images/val/")
val_label_path = os.path.join(cur_path, "data/bubbleplume/labels/val/")
 
# 测试集路径
test_image_path = os.path.join(cur_path, "data/bubbleplume/images/test/")
test_label_path = os.path.join(cur_path, "data/bubbleplume/labels/test/")
 
# 训练集目录
list_train = os.path.join(cur_path, "data/bubbleplume/train.txt")
list_val = os.path.join(cur_path, "data/bubbleplume/val.txt")
list_test = os.path.join(cur_path, "data/bubbleplume/test.txt")
 
train_percent = 0.8
val_percent = 0.1
test_percent = 0.1
 
 
def del_file(path):
    for i in os.listdir(path):
        file_data = path + "\\" + i
        os.remove(file_data)
 
 
def mkdir():
    if not os.path.exists(train_image_path):
        os.makedirs(train_image_path)
    else:
        del_file(train_image_path)
    if not os.path.exists(train_label_path):
        os.makedirs(train_label_path)
    else:
        del_file(train_label_path)
 
    if not os.path.exists(val_image_path):
        os.makedirs(val_image_path)
    else:
        del_file(val_image_path)
    if not os.path.exists(val_label_path):
        os.makedirs(val_label_path)
    else:
        del_file(val_label_path)
 
    if not os.path.exists(test_image_path):
        os.makedirs(test_image_path)
    else:
        del_file(test_image_path)
    if not os.path.exists(test_label_path):
        os.makedirs(test_label_path)
    else:
        del_file(test_label_path)
 
 
def clearfile():
    if os.path.exists(list_train):
        os.remove(list_train)
    if os.path.exists(list_val):
        os.remove(list_val)
    if os.path.exists(list_test):
        os.remove(list_test)
 
 
def main():
    mkdir()
    clearfile()
 
    file_train = open(list_train, 'w')
    file_val = open(list_val, 'w')
    file_test = open(list_test, 'w')
 
    total_txt = os.listdir(label_original_path)
    num_txt = len(total_txt)
    list_all_txt = range(num_txt)
 
    num_train = int(num_txt * train_percent)
    num_val = int(num_txt * val_percent)
    num_test = num_txt - num_train - num_val
 
    train = random.sample(list_all_txt, num_train)
    # train从list_all_txt取出num_train个元素
    # 所以list_all_txt列表只剩下了这些元素
    val_test = [i for i in list_all_txt if not i in train]
    # 再从val_test取出num_val个元素，val_test剩下的元素就是test
    val = random.sample(val_test, num_val)
 
    print("训练集数目：{}, 验证集数目：{}, 测试集数目：{}".format(len(train), len(val), len(val_test) - len(val)))
    for i in list_all_txt:
        name = total_txt[i][:-4]
 
        srcImage = image_original_path + name + '.jpg'
        srcLabel = label_original_path + name + ".txt"
 
        if i in train:
            dst_train_Image = train_image_path + name + '.jpg'
            dst_train_Label = train_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_train_Image)
            shutil.copyfile(srcLabel, dst_train_Label)
            file_train.write(dst_train_Image + '\n')
        elif i in val:
            dst_val_Image = val_image_path + name + '.jpg'
            dst_val_Label = val_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_val_Image)
            shutil.copyfile(srcLabel, dst_val_Label)
            file_val.write(dst_val_Image + '\n')
        else:
            dst_test_Image = test_image_path + name + '.jpg'
            dst_test_Label = test_label_path + name + '.txt'
            shutil.copyfile(srcImage, dst_test_Image)
            shutil.copyfile(srcLabel, dst_test_Label)
            file_test.write(dst_test_Image + '\n')
 
    file_train.close()
    file_val.close()
    file_test.close()
 
 
if __name__ == "__main__":
    main()

划分完成后将会在data文件夹下生成划分好的文件，其中images为划分后的图像文件，里面包含用于train、val、test的图像，已经划分完成；labels文件夹中包含划分后的标签文件，已经划分完成，里面包含用于train、val、test的标签；train.tet、val.txt、test.txt中记录了各自的图像路径
在这里插入图片描述

在训练过程中，也是主要使用这三个txt文件进行数据的索引。

三、修改配置文件

①数据集文件配置

数据集划分完成后，在data文件夹下新建bubbleplume.yaml文件，即data/bubbleplume.yaml。用于替代coco.yaml。用于指明数据集路径和类别，我这边只有一个类别，nc只留了一个，多类别的在name内加上类别名即可。bubbleplume.yaml中的内容为：

# train and val data as 1) directory: path/images/, 2) file: path/images.txt, or 3) list: [path1/images/, path2/images/]
train: /root/yolov7/data/bubbleplume/train.txt  # 118287 images
val: /root/yolov7/data/bubbleplume/val.txt  # 5000 images
test: /root/yolov7/data/bubbleplume/test.txt  # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794

# number of classes
nc: 1

# class names
names: [ 'bubbleplume' ]

在这里插入图片描述

②模型文件配置

在cfg/training文件夹下存放的是YOLOv7的各个版本的模型配置文件，检测的类别是coco数据的80类。在训练自己数据集的时候，只需要将其中的类别数修改成自己的大小。在cfg/training文件夹下新建yolov7-test.yaml文件，此处以文件夹中的yolov7.yaml文件中的模型为例，将其中的内容复制到yolov7-test.yaml文件中，并将 nc: 80 # number of classes 修改类别数 修改成自己的类别数，我的数据集只有一个类别，所以填的1如下：

# parameters
nc: 1  # number of classes
depth_multiple: 1.0  # model depth multiple
width_multiple: 1.0  # layer channel multiple

# anchors
anchors:
  - [12,16, 19,36, 40,28]  # P3/8
  - [36,75, 76,55, 72,146]  # P4/16
  - [142,110, 192,243, 459,401]  # P5/32

# yolov7 backbone
backbone:
  # [from, number, module, args]
  [[-1, 1, Conv, [32, 3, 1]],  # 0
  
   [-1, 1, Conv, [64, 3, 2]],  # 1-P1/2      
   [-1, 1, Conv, [64, 3, 1]],
   
   [-1, 1, Conv, [128, 3, 2]],  # 3-P2/4  
   [-1, 1, Conv, [64, 1, 1]],
   [-2, 1, Conv, [64, 1, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]],  # 11
         
   [-1, 1, MP, []],
   [-1, 1, Conv, [128, 1, 1]],
   [-3, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 16-P3/8  
   [-1, 1, Conv, [128, 1, 1]],
   [-2, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1]],  # 24
         
   [-1, 1, MP, []],
   [-1, 1, Conv, [256, 1, 1]],
   [-3, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 29-P4/16  
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [1024, 1, 1]],  # 37
         
   [-1, 1, MP, []],
   [-1, 1, Conv, [512, 1, 1]],
   [-3, 1, Conv, [512, 1, 1]],
   [-1, 1, Conv, [512, 3, 2]],
   [[-1, -3], 1, Concat, [1]],  # 42-P5/32  
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -3, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [1024, 1, 1]],  # 50
  ]

# yolov7 head
head:
  [[-1, 1, SPPCSPC, [512]], # 51
  
   [-1, 1, Conv, [256, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [37, 1, Conv, [256, 1, 1]], # route backbone P4
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]], # 63
   
   [-1, 1, Conv, [128, 1, 1]],
   [-1, 1, nn.Upsample, [None, 2, 'nearest']],
   [24, 1, Conv, [128, 1, 1]], # route backbone P3
   [[-1, -2], 1, Concat, [1]],
   
   [-1, 1, Conv, [128, 1, 1]],
   [-2, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [-1, 1, Conv, [64, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [128, 1, 1]], # 75
      
   [-1, 1, MP, []],
   [-1, 1, Conv, [128, 1, 1]],
   [-3, 1, Conv, [128, 1, 1]],
   [-1, 1, Conv, [128, 3, 2]],
   [[-1, -3, 63], 1, Concat, [1]],
   
   [-1, 1, Conv, [256, 1, 1]],
   [-2, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [-1, 1, Conv, [128, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [256, 1, 1]], # 88
      
   [-1, 1, MP, []],
   [-1, 1, Conv, [256, 1, 1]],
   [-3, 1, Conv, [256, 1, 1]],
   [-1, 1, Conv, [256, 3, 2]],
   [[-1, -3, 51], 1, Concat, [1]],
   
   [-1, 1, Conv, [512, 1, 1]],
   [-2, 1, Conv, [512, 1, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [-1, 1, Conv, [256, 3, 1]],
   [[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
   [-1, 1, Conv, [512, 1, 1]], # 101
   
   [75, 1, RepConv, [256, 3, 1]],
   [88, 1, RepConv, [512, 3, 1]],
   [101, 1, RepConv, [1024, 3, 1]],

   [[102,103,104], 1, IDetect, [nc, anchors]],   # Detect(P3, P4, P5)
  ]

修改完成后，模型文件就配置好啦。

③训练文件配置

在进行模型训练之前，需要到官网下载预训练权重，权重地址为：https://github.com/WongKinYiu/yolov7/releases/tag/v0.1

根据所选择的模型下载相应的权重，我这边用的是yolov7_training.pt，用哪个下哪个，不用全都下载，并新建了一个名为weightst的文件夹存放权重。

在这里插入图片描述

在项目根目录的train.py中，找到主函数if __name__ == '__main__':，修改配置，其中主要涉及到weights、cfg、data、hyp、epochs、batch-size、img-size、device以及workers的修改。

weight是配置预训练权重的路径，将default中的内容修改成下载的权重路径，也可以为空，不使用预训练权重。

parser.add_argument('--weights', type=str, default='/root/yolov7/weights/yolov7_training.pt', help='initial weights path')

cfg是配置模型文件的路径，将default中的内容修改成新的模型文件。

parser.add_argument('--cfg', type=str, default='cfg/training/yolov7_test.yaml', help='model.yaml path')

data是配置数据集文件的路径，将default中的内容修改成自己的数据集yaml文件。

parser.add_argument('--data', type=str, default='data/bubbleplume.yaml', help='data.yaml path')

hyp是模型训练过程中的超参数，可在data文件夹下选择不同的超参数。

parser.add_argument('--hyp', type=str, default='data/hyp.scratch.p5.yaml', help='hyperparameters path')

epochs指训练的轮次，这里我这边在default中定了一个400次，只要模型能收敛即可。

parser.add_argument('--epochs', type=int, default=400)

batch-size是表示一次性将多少张图片放在一起训练，越大训练的越快，如果设置的太大会报OOM错误，我这边在default中设置16，表示一次训练16张图像。设置的大小为2的幂次，1为2的0次，16为2的4次。

parser.add_argument('--batch-size', type=int, default=16, help='total batch size for all GPUs')

img-size表示送入训练的图像大小，会统一进行缩放。要求是32的整数倍，尽量和图像本身大小一致。这边在default中设置为640。

parser.add_argument('--img-size', nargs='+', type=int, default=[320, 320], help='[train, test] image sizes')

device指训练运行的设备。该参数指定了模型训练所使用的设备，例如使用 GPU 运行可以指定为 default=‘0’，或者使用多个 GPU 运行可以指定为 device=0,1,2,3，如果没有可用的 GPU，可以指定为 device=‘cpu’ 使用 CPU 进行训练。

parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')

workers是指数据装载时cpu所使用的线程数，默认为8，过高时会报错：[WinError 1455] 页面文件太小，无法完成操作，此时就只能将default调成0了。

parser.add_argument('--workers', type=int, default=10, help='maximum number of dataloader workers')

在这里插入图片描述

至此，模型训练的相关配置就配置好啦，后面就可以训练啦~

四、模型训练和测试

模型训练

在将train.py文件配置完成后，即可运行此文件，便会开始训练啦

在这里插入图片描述

训练完成后，将会在runs/train/exp/weight文件夹下存放训练后的权重文件。

模型测试

在项目根目录的test.py中，同意找到主函数if __name__ == '__main__':，修改配置，其中主要涉及到weights、data、batch-size、img-size、device以及task的修改。

其中weights为训练出来的新模型权重，路径在runs/train文件夹下，

parser.add_argument('--weights', nargs='+', type=str, default='runs/train/exp/weights/best.pt', help='model.pt path(s)')

task，表示在验证时所使用的数据集，这里使用test

parser.add_argument('--task', default='test', help='train, val, test, speed or study')

其余参数和训练时一致。
在这里插入图片描述

运行test.py文件后便会得出训练精度等相关信息。

在这里插入图片描述

总结

以上就是YOLOv7训练自己数据集的全部过程啦，欢迎大家在评论区交流~

Limiiiing

关注

16
点赞
踩
5

收藏

觉得还不错? 一键收藏
打赏
0
评论
YOLOv7训练自己的数据集

在Windows10上配置CUDA环境教程YOLOv7是YOLO系列目标检测模型的最新版本之一，由Chien-Yao Wang等人在2022年提出。它在YOLOv5的基础上进行了多项创新和改进，旨在提供更高的检测精度，同时保持较快的检测速度。其最主要的是E-ELAN结构，用于更有效地融合不同层次的特征图，可以自动调整不同特征的重要性，提高模型的鲁棒性和准确性。论文摘要翻译。
复制链接

扫一扫