【yolov5】训练自己的数据集-实践笔记
使用yolov5训练自己的数据集,以RSOD数据集为例,图像数量976,一共四类。
yolov5源码:https://github.com/ultralytics/yolov5
官网的代码会一直更新,相关依赖环境也会变,这里给出我下载的源码,yolov5v7.0。
1.环境配置
使用Anaconda
(1)创建虚拟环境并激活,要求python最低版本为3.7
conda create -n yolov5 python==3.7
activate yolov5
(2)安装包
先切换到项目路径
切换盘: 盘名
进入盘内路径:cd+路径
E:
cd E:/YOLO/yolov5-master
执行安装:
pip install -r requirements.txt
查看了一下,都安装成功了,
注:如果是涉及使用GPU,建议先查看自己的cuda版本,先单独安装与cuda对应的pytorch版本,再使用requirements文件安装其余包。
(3)测试,执行detect.py。测试时会自动下载预训练模型,若不进行测试,可以直接下载预训练模型到yolov5-master下。
报错ImportError: urllib3 v2.0 only supports OpenSSL 1.1.1+, currently the ‘ssl’ module is compiled with 'OpenSSL 1.1.0h
从报错中看到原因是urllib3的2.0版本知识OpenSSL1.1.1版本以上,我的OpenSSL版本太老了,于是先卸载urllib3,再查看当前可以安装这个包什么版本(pip install urllib3==),安装1.24.1版本成功。
pip uninstall urllib3
pip install urllib3==1.24.1
继续,运行报错
原因:anaconda的虚拟环境python版本是3.7,typing这个文件缺乏一些模块,但是pytoch的1.13.0版本的torchvision模块里面需要从typing中导入OrderedDict。
解决方法:安装补丁包,typing_extensions
pip install typing_extensions
进入报错的路径,修改
#from typing import Any, Callable, List, Optional, OrderedDict, Sequence, Tupl
from typing_extensions import Any,Callable,Dict, Mapping, Optional, Sequence, Tuple,List
detect.py执行成功,,模型自动下载yolov5s.pt并对./data/images中的图像进行预测,结果保存在runs路径下:
2.数据集准备
yolov5需要的数据集格式为voc格式,j将图片和标签文件保存于images、annotations两个文件夹中,其中annotations中存放xml格式的标签文件。
path/ROSD
–annotations
–images
2.1 划分训练/验证集
运行下列代码,划分训练集、验证集。
修改xmlFilePath,saveBasePath为自己的数据集路径,第二个路径若不存在会自己创建。
import os
import random
random.seed(10) # 设置随机数种子,复现随机场景所必须的
xmlFilePath = r'E:/Dataset/ROSD/annotations'
saveBasePath = r"E:/Dataset/ROSD/ImageSets/Main/"
trainval_percent = 1 # trainval_percent=0.9# 表示余下的百分之十用于test,为1则不划分测试集
train_percent = 0.8 # train_percent=1 # 表示训练集中用于训练,没有用于验证
temp_xml = os.listdir(xmlFilePath) # 获得一个列表,每个元素是一个文件名
total_xml = [] # 用于保存所有xml文件的文件名
for xml in temp_xml: # 遍历文件夹下所有文件
if xml.endswith(".xml"): # 判断文件名是否以.xml结尾
#if xml.endswith(".txt"): # 判断文件名是否以.txt结尾
total_xml.append(xml)
if not os.path.exists(saveBasePath):
os.makedirs(saveBasePath)
num = len(total_xml) # 所有xml文件的总数
indices = list(range(num)) # 获得迭代类型,0 ~ (num-1)
tv = int(num * trainval_percent) # 用于训练和验证的数量
tr = int(tv * train_percent) # 用于训练的数量
trainval = random.sample(indices, tv) # 用于训练和验证的样本的索引
train = random.sample(trainval, tr) # 用于训练的样本的索引
print("train and validation set size:", tv) # 训练样本和验证样本的总数
print("train set size:", tr) # 训练样本的数量
ftrainval = open(saveBasePath+'trainval.txt','w') # 依次打开4个文件
ftest = open(saveBasePath+'test.txt', 'w')
ftrain = open(saveBasePath+'train.txt', 'w')
fval = open(saveBasePath+'val.txt', 'w')
for i in indices:
name = total_xml[i][:-4] + '\n' # 文件名+'\n',其中文件名不含.xml
if i in trainval: # 训练集和验证集的索引
ftrainval.write(name) # 写入训练和验证的文件中
if i in train: # 训练集的索引
ftrain.write(name) # 写入训练的文件中
else:
fval.write(name) # 写入验证的文件中
else:
ftest.write(name) # 否则归于测试集,写入测试的文件中
ftrainval.close() # 依次关闭4个文件
ftrain.close()
fval.close()
ftest.close()
运行完成,在数据集下ImagesSets/Main下生成trainval.txt、train.txt,、val.txt、test.txt等文件,里面存放不带后缀的图片名。
2.2 标签格式转换
yolo要求的标签文件格式为txt,内容为
class_id x_center,y_center,w,h
将xml转为yolo所需的txt文件,代码来自参考链接2
# -*- coding: utf-8 -*-
import xml.etree.ElementTree as ET
import os
from os import getcwd
sets = ['train', 'val', 'test']
classes = ["aircraft", "oiltank","overpass",'playground'] # 改成自己的类别
abs_path = os.getcwd()
print(abs_path)
def convert(size, box):
dw = 1. / (size[0])
dh = 1. / (size[1])
x = (box[0] + box[1]) / 2.0 - 1
y = (box[2] + box[3]) / 2.0 - 1
w = box[1] - box[0]
h = box[3] - box[2]
x = x * dw
w = w * dw
y = y * dh
h = h * dh
return x, y, w, h
def convert_annotation(image_id):
in_file = open('E:/dataset/ROSD/Annotations/%s.xml' % (image_id), encoding='UTF-8')
out_file = open('E:/dataset/ROSD//labels/%s.txt' % (image_id), 'w')
tree = ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
difficult = obj.find('difficult').text
# difficult = obj.find('Difficult').text
cls = obj.find('name').text
if cls not in classes or int(difficult) == 1:
continue
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
float(xmlbox.find('ymax').text))
b1, b2, b3, b4 = b
# 标注越界修正
if b2 > w:
b2 = w
if b4 > h:
b4 = h
b = (b1, b2, b3, b4)
bb = convert((w, h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
wd = getcwd()
for image_set in sets:
if not os.path.exists('E:/dataset/ROSD/labels/'):
os.makedirs('E:/dataset/ROSD/labels/')
image_ids = open('E:/dataset/ROSD/ImageSets/Main/%s.txt' % (image_set)).read().strip().split()
if not os.path.exists('E:/dataset/ROSD/dataSet_path/'):
os.makedirs('E:/dataset/ROSD/dataSet_path/')
list_file = open('E:/dataset/ROSD/dataSet_path/%s.txt' % (image_set), 'w')
# 这行路径不需更改,这是相对路径
for image_id in image_ids:
list_file.write('E:/dataset/ROSD/images/%s.jpg\n' % (image_id))
convert_annotation(image_id)
list_file.close()
运行完成后在/ROSD/labels/下生成txt文件,每个txt对应一张图像,里面存放图像的标签信息。
2.3 创建配置文件,
在项目的data文件夹下新建自己的数据集配置文件ROSD.yaml,内容如下,路径为自己的数据集路径,设置类别数,类别名称。注意此处的names和标签格式转换部分的代码中的classes要保持一致。
train: E:/dataset/ROSD/dataSet_path/train.txt
val: E:/dataset/ROSD/dataSet_path/val.txt
# number of classes
nc: 4
# class names
names: ["aircraft", "oiltank","overpass",'playground']
3.训练
(1)修改配置
直接在train.py的函数parse_opt中修改
修改epochs,batch–size,根据自己的配置来,若报内存溢出就把batch–size调小一点,一般为2的倍数
修改weights为预训练文件路径,修改data为自己的数据集配置yaml文件路径,为了防止出错建议全部使用绝对路径。
(2)训练。
注:也可以使用命令行直接训练
python train.py --data ROSD.yaml --epochs 100 --weights 'yolov5s.pt' --cfg models/yolov5s.yaml --data ROSD.yaml--batch-size 16
训练好的文件保存在runs/train/expx/weights中,也可以修改保存路径
这个数据集比较简单,在我设置的如上参数下,训练了十几个epoch,IoU=0.5时的mAP达到了92
【训练可视化】
在终端执行下列命令,logdir改为训练好的文件保存路径(路径下有events文件),点进去网址出现可视化结果
tensorboard --logdir runs/train/exp --port=8008
可视化结果:
4.验证
训练到最后模型会输出在验证集上的评估结果,包括数据集参数、精度参数和模型参数,测试时会另外给出推理速度相关参数。
数据集参数:‘Class’, ‘Images’, ‘Instances’
精度参数:‘P’, ‘R’, ‘mAP50’, ‘mAP50-95’
模型参数:layers, parameters, gradients, GFLOPs
速度参数:ms pre-process, ms inference, ms NMS per image at shape
修改val.py, parse_opt()中的data,weights,batch-size
或使用命令行
python val.py --data ROSD.yaml --weights 'runs/train/exp/weights/best.pt'
注:训练和验证时得到的模型参数计算结果是不同的,具体可以看参考链接4
5.测试
修改detect.py,parse_opt中,修改weights为训练得到的权重路径,修改source为要用来预测的图片文件路径,data为数据集yaml文件路径,预测得到的图片保存路径为project,也可以修改。run。
同样可以使用命令行预测:
python detect.py --weights runs/train/exp/weights/best.pt --source E:/dataset/ROSD/test --data data/ROSD.yaml
预测结果:
参考:
1.ImportError: cannot import name ‘OrderedDict‘ from ‘typing‘
2.Yolov5训练自己的数据集(详细完整版)
3.史上最详细yolov5环境配置搭建+配置所需文件
4.【YOLOv5-6.x】模型参数量param及计算量FLOPs解析