前言
提示:本文是YOLOv9的分割模型训练自己数据集的记录教程,需要在本地已配置好CUDA,cuDNN等环境,没配置的小伙伴可以查看我的往期博客:在Windows10上配置CUDA环境教程
YOLOv9网络于2024年2月21日发布,其通过广义高效层聚合网络(GELAN)、可编程梯度信息(PGI)和辅助可逆分支设计等改进点,使得其在目标检测领域取得了显著的性能提升。其中也提供了目标分割的网络结构,本文就来搭建并记录一下。
代码地址:https://github.com/WongKinYiu/yolov9
论文地址:https://arxiv.org/abs/2402.13616
专栏目录:YOLOv9改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进
一、环境搭建
在配置好CUDA环境,并且获取到YOLOv9源码后,建议新建一个虚拟环境专门用于YOLOv9模型的训练。将YOLOv9加载到环境后,安装剩余的包。requirements.txt
中包含了运行所需的包和版本,利用以下命令批量安装:
pip install -r requirements.txt
二、构建数据集
YOLOv9的分割模型训练需要原图像及对应的YOLO格式标签,还未制作标签的可以参考我这篇文章:Labelme安装与使用教程。
注意labelme的标签是json格式的,这在训练前需要将json转成yolo的txt格式。
在转换完成后,将数据存放在根目录的data/gasplume文件夹下,里面包含图像和标签。
标签内的格式如下:
0 0.5655737704918032 0.460093896713615 0.5655737704918032 0.49765258215962443 0.5737704918032787 0.5352112676056338 0.5819672131147541 0.5915492957746479 0.5922131147540983 0.5821596244131455 0.5840163934426229 0.5305164319248826 0.5778688524590164 0.48826291079812206
将原本数据集按照8:1:1的比例划分成训练集、验证集和测试集三类,划分代码如下。
# 将图片和标注数据按比例切分为 训练集和测试集
import shutil
import random
import os
# 原始路径
image_original_path = "data/gasplume/newImage/"
label_original_path = "data/gasplume/newLabel/"
cur_path = os.getcwd()
# 训练集路径
train_image_path = os.path.join(cur_path, "datasets/images/train/")
train_label_path = os.path.join(cur_path, "datasets/labels/train/")
# 验证集路径
val_image_path = os.path.join(cur_path, "datasets/images/val/")
val_label_path = os.path.join(cur_path, "datasets/labels/val/")
# 测试集路径
test_image_path = os.path.join(cur_path, "datasets/images/test/")
test_label_path = os.path.join(cur_path, "datasets/labels/test/")
# 训练集目录
list_train = os.path.join(cur_path, "datasets/train.txt")
list_val = os.path.join(cur_path, "datasets/val.txt")
list_test = os.path.join(cur_path, "datasets/test.txt")
train_percent = 0.8
val_percent = 0.1
test_percent = 0.1
def del_file(path):
for i in os.listdir(path):
file_data = path + "\\" + i
os.remove(file_data)
def mkdir():
if not os.path.exists(train_image_path):
os.makedirs(train_image_path)
else:
del_file(train_image_path)
if not os.path.exists(train_label_path):
os.makedirs(train_label_path)
else:
del_file(train_label_path)
if not os.path.exists(val_image_path):
os.makedirs(val_image_path)
else:
del_file(val_image_path)
if not os.path.exists(val_label_path):
os.makedirs(val_label_path)
else:
del_file(val_label_path)
if not os.path.exists(test_image_path):
os.makedirs(test_image_path)
else:
del_file(test_image_path)
if not os.path.exists(test_label_path):
os.makedirs(test_label_path)
else:
del_file(test_label_path)
def clearfile():
if os.path.exists(list_train):
os.remove(list_train)
if os.path.exists(list_val):
os.remove(list_val)
if os.path.exists(list_test):
os.remove(list_test)
def main():
mkdir()
clearfile()
file_train = open(list_train, 'w')
file_val = open(list_val, 'w')
file_test = open(list_test, 'w')
total_txt = os.listdir(label_original_path)
num_txt = len(total_txt)
list_all_txt = range(num_txt)
num_train = int(num_txt * train_percent)
num_val = int(num_txt * val_percent)
num_test = num_txt - num_train - num_val
train = random.sample(list_all_txt, num_train)
# train从list_all_txt取出num_train个元素
# 所以list_all_txt列表只剩下了这些元素
val_test = [i for i in list_all_txt if not i in train]
# 再从val_test取出num_val个元素,val_test剩下的元素就是test
val = random.sample(val_test, num_val)
print("训练集数目:{}, 验证集数目:{}, 测试集数目:{}".format(len(train), len(val), len(val_test) - len(val)))
for i in list_all_txt:
name = total_txt[i][:-4]
srcImage = image_original_path + name + '.jpg'
srcLabel = label_original_path + name + ".txt"
if i in train:
dst_train_Image = train_image_path + name + '.jpg'
dst_train_Label = train_label_path + name + '.txt'
shutil.copyfile(srcImage, dst_train_Image)
shutil.copyfile(srcLabel, dst_train_Label)
file_train.write(dst_train_Image + '\n')
elif i in val:
dst_val_Image = val_image_path + name + '.jpg'
dst_val_Label = val_label_path + name + '.txt'
shutil.copyfile(srcImage, dst_val_Image)
shutil.copyfile(srcLabel, dst_val_Label)
file_val.write(dst_val_Image + '\n')
else:
dst_test_Image = test_image_path + name + '.jpg'
dst_test_Label = test_label_path + name + '.txt'
shutil.copyfile(srcImage, dst_test_Image)
shutil.copyfile(srcLabel, dst_test_Label)
file_test.write(dst_test_Image + '\n')
file_train.close()
file_val.close()
file_test.close()
if __name__ == "__main__":
main()
划分完成后将会在datasets
文件夹下生成划分好的文件,其中images
为划分后的图像文件,里面包含用于train、val、test的图像,已经划分完成;labels
文件夹中包含划分后的标签文件,已经划分完成,里面包含用于train、val、test的标签;train.tet、val.txt、test.txt中记录了各自的图像路径。
在YOLOv9的分割模型训练过程中,只需要指向images中的train、val、test文件进行训练,这在配置数据集的时候会详细说明。
三、修改配置文件
①数据集文件配置
数据集划分完成后,在项目的data文件下,官方提供了一个用于训练COCO数据集的coco.yaml
文件。在训练自己的数据集时,我们在相同目录下新建一个mydata.yaml
,并将下方代码复制进去,需要修改的是在train、val以及test中的内容指的是划分后的图像文件夹所在的路径,需要注意的是标签要和图像在同一个路径下。
其次我这边只有一个类别,在names
中换成了我的类别名,多类别的在names内按顺序加上类别名。
mydata.yaml中的内容为:
path: datasets/images # dataset root dir
train: train # train images (relative to 'path') 118287 images
val: val # val images (relative to 'path') 5000 images
test: test # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794
# Classes
names:
0: bubbleplume
②模型文件配置
在models/segment
文件夹下存放的是YOLOv9分割模型的各个版本的模型配置文件,检测的类别是coco数据的80类。在训练自己数据集的时候,只需要将其中的类别数修改成自己的大小。在models/segment文件夹下新建seg-test.yaml文件
,此处以yolov9-c-dseg.yaml
文件中的模型为例,将其中的内容复制到seg-test.yaml
文件中,并将 nc: 1 # number of classes 修改类别数
修改成自己的类别数,如下:
# YOLOv9
# parameters
nc: 1 # number of classes
depth_multiple: 1.0 # model depth multiple
width_multiple: 1.0 # layer channel multiple
#activation: nn.LeakyReLU(0.1)
#activation: nn.ReLU()
# anchors
anchors: 3
# gelan backbone
backbone:
[
[-1, 1, Silence, []],
# conv down
[-1, 1, Conv, [64, 3, 2]], # 1-P1/2
# conv down
[-1, 1, Conv, [128, 3, 2]], # 2-P2/4
# elan-1 block
[-1, 1, RepNCSPELAN4, [256, 128, 64, 1]], # 3
# avg-conv down
[-1, 1, ADown, [256]], # 4-P3/8
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 256, 128, 1]], # 5
# avg-conv down
[-1, 1, ADown, [512]], # 6-P4/16
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 7
# avg-conv down
[-1, 1, ADown, [512]], # 8-P5/32
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 9
]
# YOLOv9 head
head:
[
# elan-spp block
[-1, 1, SPPELAN, [512, 256]], # 10
# up-concat merge
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 7], 1, Concat, [1]], # cat backbone P4
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 13
# up-concat merge
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[[-1, 5], 1, Concat, [1]], # cat backbone P3
# elan-2 block
[-1, 1, RepNCSPELAN4, [256, 256, 128, 1]], # 16 (P3/8-small)
# avg-conv-down merge
[-1, 1, ADown, [256]],
[[-1, 13], 1, Concat, [1]], # cat head P4
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 19 (P4/16-medium)
# avg-conv-down merge
[-1, 1, ADown, [512]],
[[-1, 10], 1, Concat, [1]], # cat head P5
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 22 (P5/32-large)
# multi-level reversible auxiliary branch
# routing
[5, 1, CBLinear, [[256]]], # 23
[7, 1, CBLinear, [[256, 512]]], # 24
[9, 1, CBLinear, [[256, 512, 512]]], # 25
# conv down
[0, 1, Conv, [64, 3, 2]], # 26-P1/2
# conv down
[-1, 1, Conv, [128, 3, 2]], # 27-P2/4
# elan-1 block
[-1, 1, RepNCSPELAN4, [256, 128, 64, 1]], # 28
# avg-conv down fuse
[-1, 1, ADown, [256]], # 29-P3/8
[[23, 24, 25, -1], 1, CBFuse, [[0, 0, 0]]], # 30
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 256, 128, 1]], # 31
# avg-conv down fuse
[-1, 1, ADown, [512]], # 32-P4/16
[[24, 25, -1], 1, CBFuse, [[1, 1]]], # 33
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 34
# avg-conv down fuse
[-1, 1, ADown, [512]], # 35-P5/32
[[25, -1], 1, CBFuse, [[2]]], # 36
# elan-2 block
[-1, 1, RepNCSPELAN4, [512, 512, 256, 1]], # 37
[31, 1, RepNCSPELAN4, [512, 256, 128, 2]], # 38
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[-1, 1, Conv, [256, 3, 1]], # 40
[16, 1, RepNCSPELAN4, [256, 256, 128, 2]], # 41
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[-1, 1, Conv, [256, 3, 1]], # 43
# segment
[[31, 34, 37, 16, 19, 22, 40, 43], 1, DualDSegment, [nc, 32, 256]], # Segment(P3, P4, P5)
]
修改完成后,模型文件就配置好啦。
③训练文件配置
在进行模型训练之前,需要到官网下载预训练权重,权重地址为:https://github.com/WongKinYiu/yolov9/releases
根据所选择的模型下载相应的权重,我这边使用的是yolov9-c-dseg.yaml
,所以下载的是yolov9-c-seg.pt
,放在了yolov9-main/weights/
路径下。
修改train_dual.py
注意是train_dual.py,而不是train.py。在segment/train_dual.py的def parse_opt()的第450行处,修改配置,其中主要涉及到weights、cfg、data、hyp、epochs、batch-size、imgsz、device以及workers的修改。
weight是配置预训练权重的路径,将default
中的内容修改成下载的权重路径,也可以为空,不使用预训练权重。
parser.add_argument('--weights', type=str, default=ROOT / 'weights/yolov9-c-seg.pt', help='initial weights path')
cfg是配置模型文件的路径,将default
中的内容修改成新的模型文件。
parser.add_argument('--cfg', type=str, default='models/segment/seg-test.yaml', help='model.yaml path')
data是配置数据集文件的路径,将default
中的内容修改成自己的数据集yaml文件。
parser.add_argument('--data', type=str, default=ROOT / 'data/mydata.yaml', help='dataset.yaml path')
hyp是模型训练过程中的超参数,目前yolov9只提供了一个hyp.scratch-high.yaml,在data/hyps/文件夹下。
parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch-high.yaml', help='hyperparameters path')
epochs指训练的轮次,这里我这边在default
中定了一个100次,只要模型能收敛即可。
parser.add_argument('--epochs', type=int, default=100, help='total training epochs')
batch-size是表示一次性将多少张图片放在一起训练,越大训练的越快,如果设置的太大会报OOM错误,我这边在default
中设置16,表示一次训练16张图像。设置的大小为2的幂次,1为2的0次,16为2的4次, 最小为1。
parser.add_argument('--batch-size', type=int, default=32, help='total batch size for all GPUs, -1 for autobatch')
imgsz表示送入训练的图像大小,会统一进行缩放。要求是32的整数倍,尽量和图像本身大小一致。这边在default
中设置为480。
parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=480, help='train, val image size (pixels)')
device指训练运行的设备。该参数指定了模型训练所使用的设备,例如使用 GPU 运行可以指定为 default
=‘0’,或者使用多个 GPU 运行可以指定为 device=0,1,2,3,如果没有可用的 GPU,可以指定为 device=‘cpu’ 使用 CPU 进行训练。
parser.add_argument('--device', default='0', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
workers是指数据装载时cpu所使用的线程数,默认为8,过高时会报错:[WinError 1455] 页面文件太小,无法完成操作,此时就只能将default
调成0了。
parser.add_argument('--workers', type=int, default=8, help='max dataloader workers (per RANK in DDP mode)')
至此,模型训练的相关配置就配置好啦,后面就可以训练啦~
四、模型训练和测试
模型训练
在模型训练中,yolov9的训练文件有train_dual.py
和train.py
两个文件,train.py是无“辅助分支”训练用的脚本,train_dual.py是含有辅助训练分支用的脚本。在seg-test.yaml
中使用的是带有辅助分支的训练头DualDSegment
,所以要使用train_dual.py
进行训练。
运行train_dual.py文件后便会读取相关的配置文件,进行训练:
训练完成后,将会在runs/train-seg/exp/weight
文件夹下存放训练后的权重文件。
模型测试
在相同目录下,使用val_dual.py
进行测试,需要修改第391行的def parse_opt()
中的data、weights、batch-size、img-size、device以及task。
其中weights
为训练出来的新模型权重,路径在runs/train-seg
文件夹下
parser.add_argument('--weights', nargs='+', type=str, default=ROOT / 'runs/train-seg/exp/weights/best.pt', help='model path(s)')
task
,表示在验证时所使用的数据集,这里使用test
测试集。
parser.add_argument('--task', default='test', help='train, val, test, speed or study')
运行val_dual.py
文件后便会得出训练精度等相关信息。
总结
以上就是YOLOv9的分割模型训练自己数据集的全部过程啦,欢迎大家在评论区交流~