前言
提示：本文是YOLOv7的分割模型训练自己数据集的记录教程，在调试前需要本地已配置好CUDA,cuDNN等环境，没配置的小伙伴可以查看我的往期博客：在Windows10上配置CUDA环境教程
YOLOv7的seg版本中是YOLOv7的分割模型，相比较于检测模型，主要的改动是在检测头部分加入了计算目标掩码的操作，继承于检测头IDetect，共用一个骨干网络和颈部网络，能够实现目标的同时检测和分割。
YOLOv7的分割模型在u7分支下的seg文件夹下，将这个问价夹及其中的内容下载到本地后就得到了YOLOv7分割模型的源代码。
一、环境搭建
在配置好CUDA环境，并且获取到YOLOv7源码后，建议新建一个虚拟环境专门用于YOLOv7模型的训练。将YOLOv7加载到环境后，安装剩余的包。requirements.txt 中包含了运行所需的包和版本，利用以下命令批量安装：
pip install -r requirements.txt
二、构建数据集
YOLOv7的分割模型训练需要原图像及对应的YOLO格式标签，还未制作标签的可以参考我这篇文章：Labelme安装与使用教程。注意labelme的标签是json格式的，这在训练前需要将json转成yolo的txt格式。
在转换完成后，将数据存放在根目录的data文件夹下，里面包含图像和标签。
标签内的格式如下：
0 0.5655737704918032 0.460093896713615 0.5655737704918032 0.49765258215962443 0.5737704918032787 0.5352112676056338 0.5819672131147541 0.5915492957746479 0.5922131147540983 0.5821596244131455 0.5840163934426229 0.5305164319248826 0.5778688524590164 0.48826291079812206
将原本数据集按照8：1：1的比例划分成训练集、验证集和测试集三类，划分代码如下。
# 将图片和标注数据按比例切分为 训练集和测试集
# 将图片和标注数据按比例切分为 训练集和测试集
import shutil
import random
import os
# 原始路径
image_original_path = "/root/seg/data/gasplume/newImage/"
label_original_path = "/root/seg/data/gasplume/newLabel/"
cur_path = os.getcwd()
# cur_path = 'D:/image_denoising_test/denoise/'
# 训练集路径
train_image_path = os.path.join(cur_path, "datasets/bubbleplume/images/train/")
train_label_path = os.path.join(cur_path, "datasets/bubbleplume/labels/train/")
# 验证集路径
val_image_path = os.path.join(cur_path, "datasets/bubbleplume/images/val/")
val_label_path = os.path.join(cur_path, "datasets/bubbleplume/labels/val/")
# 测试集路径
test_image_path = os.path.join(cur_path, "datasets/bubbleplume/images/test/")
test_label_path = os.path.join(cur_path, "datasets/bubbleplume/labels/test/")
# 训练集目录
list_train = os.path.join(cur_path, "datasets/bubbleplume/train.txt")
list_val = os.path.join(cur_path, "datasets/bubbleplume/val.txt")
list_test = os.path.join(cur_path, "datasets/bubbleplume/test.txt")
train_percent = 0.8
val_percent = 0.1
test_percent = 0.1
def del_file(path):
for i in os.listdir(path):
file_data = path + "\\" + i
os.remove(file_data)
def mkdir():
if not os.path.exists(train_image_path):
os.makedirs(train_image_path)
else:
del_file(train_image_path)
if not os.path.exists(train_label_path):
os.makedirs(train_label_path)
else:
del_file(train_label_path)
if not os.path.exists(val_image_path):
os.makedirs(val_image_path)
else:
del_file(val_image_path)
if not os.path.exists(val_label_path):
os.makedirs(val_label_path)
else:
del_file(val_label_path)
if not os.path.exists(test_image_path):
os.makedirs(test_image_path)
else:
del_file(test_image_path)
if not os.path.exists(test_label_path):
os.makedirs(test_label_path)
else:
del_file(test_label_path)
def clearfile():
if os.path.exists(list_train):
os.remove(list_train)
if os.path.exists(list_val):
os.remove(list_val)
if os.path.exists(list_test):
os.remove(list_test)
def main():
mkdir()
clearfile()
file_train = open(list_train, 'w')
file_val = open(list_val, 'w')
file_test = open(list_test, 'w')
total_txt = os.listdir(label_original_path)
num_txt = len(total_txt)
list_all_txt = range(num_txt)
num_train = int(num_txt * train_percent)
num_val = int(num_txt * val_percent)
num_test = num_txt - num_train - num_val
train = random.sample(list_all_txt, num_train)
# train从list_all_txt取出num_train个元素
# 所以list_all_txt列表只剩下了这些元素
val_test = [i for i in list_all_txt if not i in train]
# 再从val_test取出num_val个元素，val_test剩下的元素就是test
val = random.sample(val_test, num_val)
print("训练集数目：{}, 验证集数目：{}, 测试集数目：{}".format(len(train), len(val), len(val_test) - len(val)))
for i in list_all_txt:
name = total_txt[i][:-4]
srcImage = image_original_path + name + '.jpg'
srcLabel = label_original_path + name + ".txt"
if i in train:
dst_train_Image = train_image_path + name + '.jpg'
dst_train_Label = train_label_path + name + '.txt'
shutil.copyfile(srcImage, dst_train_Image)
shutil.copyfile(srcLabel, dst_train_Label)
file_train.write(dst_train_Image + '\n')
elif i in val:
dst_val_Image = val_image_path + name + '.jpg'
dst_val_Label = val_label_path + name + '.txt'
shutil.copyfile(srcImage, dst_val_Image)
shutil.copyfile(srcLabel, dst_val_Label)
file_val.write(dst_val_Image + '\n')
else:
dst_test_Image = test_image_path + name + '.jpg'
dst_test_Label = test_label_path + name + '.txt'
shutil.copyfile(srcImage, dst_test_Image)
shutil.copyfile(srcLabel, dst_test_Label)
file_test.write(dst_test_Image + '\n')
file_train.close()
file_val.close()
file_test.close()
if __name__ == "__main__":
main()
划分完成后将会在datasets/bubbleplume文件夹下生成划分好的文件，其中images为划分后的图像文件，里面包含用于train、val、test的图像，已经划分完成；labels文件夹中包含划分后的标签文件，已经划分完成，里面包含用于train、val、test的标签；train.tet、val.txt、test.txt中记录了各自的图像路径。
在训练过程中，也是主要使用这三个txt文件进行数据的索引。
三、修改配置文件
①数据集文件配置
数据集划分完成后，存放在项目的datasets文件下。在data文件夹下新建bubbleplume.yaml，替代coco.yaml。用于指明数据集路径和类别，我这边只有一个类别，names中只留了一个，并替换成自己的类别名，多类别的在names内加上类别名即可。bubbleplume.yaml中的内容为：
train: /root/seg/datasets/bubbleplume/train.txt # train images (relative to 'path') 118287 images
val: /root/seg/datasets/bubbleplume/test.txt # val images (relative to 'path') 5000 images
test: /root/seg/datasets/bubbleplume/val.txt # 20288 of 40670 images, submit to https://competitions.codalab.org/competitions/20794
# Classes
names:
0: gas plume
②权重下载
模型训练的时候，需要用到模型的预训练权重。官方提供了yolov7-seg.pt用于预训练,下载后我放在了项目的weights（新建的）目录下。 模型需要到官网下载预训练权重，权重地址为：https://github.com/WongKinYiu/yolov7/releases/tag/v0.1
③模型文件配置
YOLOv7的模型文件在./models/segment 文件夹下，里面有一个模型文件yolov7-seg.yaml。将yolov7-seg.yaml中的nc的大小换成自己的目标类别数量，我这里是1个类别写的1。
yolov7-seg.yaml文件中的内容如下：
# YOLOv7
# Parameters
nc: 1 # number of classes
depth_multiple: 1.0 # model depth multiple
width_multiple: 1.0 # layer channel multiple
anchors:
- [12,16, 19,36, 40,28] # P3/8
- [36,75, 76,55, 72,146] # P4/16
- [142,110, 192,243, 459,401] # P5/32
# YOLOv7 backbone
backbone:
# [from, number, module, args]
[[-1, 1, Conv, [32, 3, 1]], # 0
[-1, 1, Conv, [64, 3, 2]], # 1-P1/2
[-1, 1, Conv, [64, 3, 1]],
[-1, 1, Conv, [128, 3, 2]], # 3-P2/4
[-1, 1, Conv, [64, 1, 1]],
[-2, 1, Conv, [64, 1, 1]],
[-1, 1, Conv, [64, 3, 1]],
[-1, 1, Conv, [64, 3, 1]],
[-1, 1, Conv, [64, 3, 1]],
[-1, 1, Conv, [64, 3, 1]],
[[-1, -3, -5, -6], 1, Concat, [1]],
[-1, 1, Conv, [256, 1, 1]], # 11
[-1, 1, MP, []],
[-1, 1, Conv, [128, 1, 1]],
[-3, 1, Conv, [128, 1, 1]],
[-1, 1, Conv, [128, 3, 2]],
[[-1, -3], 1, Concat, [1]], # 16-P3/8
[-1, 1, Conv, [128, 1, 1]],
[-2, 1, Conv, [128, 1, 1]],
[-1, 1, Conv, [128, 3, 1]],
[-1, 1, Conv, [128, 3, 1]],
[-1, 1, Conv, [128, 3, 1]],
[-1, 1, Conv, [128, 3, 1]],
[[-1, -3, -5, -6], 1, Concat, [1]],
[-1, 1, Conv, [512, 1, 1]], # 24
[-1, 1, MP, []],
[-1, 1, Conv, [256, 1, 1]],
[-3, 1, Conv, [256, 1, 1]],
[-1, 1, Conv, [256, 3, 2]],
[[-1, -3], 1, Concat, [1]], # 29-P4/16
[-1, 1, Conv, [256, 1, 1]],
[-2, 1, Conv, [256, 1, 1]],
[-1, 1, Conv, [256, 3, 1]],
[-1, 1, Conv, [256, 3, 1]],
[-1, 1, Conv, [256, 3, 1]],
[-1, 1, Conv, [256, 3, 1]],
[[-1, -3, -5, -6], 1, Concat, [1]],
[-1, 1, Conv, [1024, 1, 1]], # 37
[-1, 1, MP, []],
[-1, 1, Conv, [512, 1, 1]],
[-3, 1, Conv, [512, 1, 1]],
[-1, 1, Conv, [512, 3, 2]],
[[-1, -3], 1, Concat, [1]], # 42-P5/32
[-1, 1, Conv, [256, 1, 1]],
[-2, 1, Conv, [256, 1, 1]],
[-1, 1, Conv, [256, 3, 1]],
[-1, 1, Conv, [256, 3, 1]],
[-1, 1, Conv, [256, 3, 1]],
[-1, 1, Conv, [256, 3, 1]],
[[-1, -3, -5, -6], 1, Concat, [1]],
[-1, 1, Conv, [1024, 1, 1]], # 50
]
# yolov7 head
head:
[[-1, 1, SPPCSPC, [512]], # 51
[-1, 1, Conv, [256, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[37, 1, Conv, [256, 1, 1]], # route backbone P4
[[-1, -2], 1, Concat, [1]],
[-1, 1, Conv, [256, 1, 1]],
[-2, 1, Conv, [256, 1, 1]],
[-1, 1, Conv, [128, 3, 1]],
[-1, 1, Conv, [128, 3, 1]],
[-1, 1, Conv, [128, 3, 1]],
[-1, 1, Conv, [128, 3, 1]],
[[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
[-1, 1, Conv, [256, 1, 1]], # 63
[-1, 1, Conv, [128, 1, 1]],
[-1, 1, nn.Upsample, [None, 2, 'nearest']],
[24, 1, Conv, [128, 1, 1]], # route backbone P3
[[-1, -2], 1, Concat, [1]],
[-1, 1, Conv, [128, 1, 1]],
[-2, 1, Conv, [128, 1, 1]],
[-1, 1, Conv, [64, 3, 1]],
[-1, 1, Conv, [64, 3, 1]],
[-1, 1, Conv, [64, 3, 1]],
[-1, 1, Conv, [64, 3, 1]],
[[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
[-1, 1, Conv, [128, 1, 1]], # 75
[-1, 1, MP, []],
[-1, 1, Conv, [128, 1, 1]],
[-3, 1, Conv, [128, 1, 1]],
[-1, 1, Conv, [128, 3, 2]],
[[-1, -3, 63], 1, Concat, [1]],
[-1, 1, Conv, [256, 1, 1]],
[-2, 1, Conv, [256, 1, 1]],
[-1, 1, Conv, [128, 3, 1]],
[-1, 1, Conv, [128, 3, 1]],
[-1, 1, Conv, [128, 3, 1]],
[-1, 1, Conv, [128, 3, 1]],
[[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
[-1, 1, Conv, [256, 1, 1]], # 88
[-1, 1, MP, []],
[-1, 1, Conv, [256, 1, 1]],
[-3, 1, Conv, [256, 1, 1]],
[-1, 1, Conv, [256, 3, 2]],
[[-1, -3, 51], 1, Concat, [1]],
[-1, 1, Conv, [512, 1, 1]],
[-2, 1, Conv, [512, 1, 1]],
[-1, 1, Conv, [256, 3, 1]],
[-1, 1, Conv, [256, 3, 1]],
[-1, 1, Conv, [256, 3, 1]],
[-1, 1, Conv, [256, 3, 1]],
[[-1, -2, -3, -4, -5, -6], 1, Concat, [1]],
[-1, 1, Conv, [512, 1, 1]], # 101
[75, 1, Conv, [256, 3, 1]],
[88, 1, Conv, [512, 3, 1]],
[101, 1, Conv, [1024, 3, 1]],
[[102, 103, 104], 1, ISegment, [nc, anchors, 32, 256]], # Detect(P3, P4, P5)
]
④训练参数配置
在模型配置中，YOLOv7的分割模型需要修改项目根目录中的./segment/train.py,在479行处的 def parse_opt(known=False):函数中，主要修改weights、cfg、data、hyp、epochs、batch-size、imgsz、device以及workers。这些参数已足够顺利训练了，其他参数就是一些后续的调参工作了。
weight是配置预训练权重的路径，将default中的内容修改成下载的权重路径，也可以为空，不使用预训练权重，权重放在其他文件夹下的注意加上文件夹路径。
parser.add_argument('--weights', type=str, default=ROOT / 'weights/yolov7-seg.pt', help='initial weights path')
cfg是配置模型文件的路径，将default中的内容修改成新的模型文件。
parser.add_argument('--cfg', type=str, default='/root/seg/models/segment/yolov7-seg.yaml', help='model.yaml path')
data是配置数据集文件的路径，将default中的内容修改成自己的数据集yaml文件。
parser.add_argument('--data', type=str, default=ROOT / 'data/gasplume.yaml', help='dataset.yaml path')
hyp是模型训练过程中的超参数，可在data/hyps文件夹下选择不同的超参数。
parser.add_argument('--hyp', type=str, default=ROOT / 'data/hyps/hyp.scratch-low.yaml', help='hyperparameters path')
epochs指训练的轮次，这里我这边在default中定了一个300次，只要模型能收敛即可。
parser.add_argument('--epochs', type=int, default=300, help='total training epochs')
batch-size是表示一次性将多少张图片放在一起训练，越大训练的越快，如果设置的太大会报OOM错误，我这边在default中设置32，表示一次训练16张图像。设置的大小为2的幂次，1为2的0次，16为2的4次。
parser.add_argument('--batch-size', type=int, default=32, help='total batch size for all GPUs, -1 for autobatch')
imgsz表示送入训练的图像大小，会统一进行缩放。要求是32的整数倍，尽量和图像本身大小一致。这边在default中设置为480。
parser.add_argument('--imgsz', '--img', '--img-size', type=int, default=480, help='train, val image size (pixels)')
device指训练运行的设备。该参数指定了模型训练所使用的设备，例如使用 GPU 运行可以指定为 default=‘0’，或者使用多个 GPU 运行可以指定为 device=0,1,2,3，如果没有可用的 GPU，可以指定为 device=‘cpu’ 使用 CPU 进行训练。
parser.add_argument('--device', default='0', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
workers是指数据装载时cpu所使用的线程数，过高时会报错：[WinError 1455] 页面文件太小，无法完成操作，此时就只能将default调成0了。
parser.add_argument('--workers', type=int, default=10, help='max dataloader workers (per RANK in DDP mode)')
模型训练的相关基本参数就是这些啦，其余的参数可以等到后期训练完成进行调参时再详细了解。
四、模型训练和测试
模型训练
在将train.py文件配置完成后，即可运行此文件，便会开始训练啦
训练完成后，将会在runs/train-seg/exp/weight文件夹下存放训练后的权重文件。
模型测试
在train.py的相同目录下，使用val.py进行测试，需要修改405行中的def parse_opt()中的data、weights、batch-size、imgsz、device、task以及device。
其中weights为训练出来的新模型权重，路径在runs/train-seg文件夹下。
parser.add_argument('--weights', nargs='+', type=str, default='/root/seg/runs/train-seg/exp/weights/best.pt', help='model path(s)')
task，表示在验证时所使用的数据集，这里使用test，数据集中已经划分。
parser.add_argument('--task', default='test', help='train, val, test, speed or study')
其余参数和训练时一致。
运行val.py文件后便会得出训练精度等相关信息。
总结
以上就是YOLOv7的分割模型训练自己数据集的全部过程啦，欢迎大家在评论区交流~
扫一扫
1403
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
