YOLOv5训练自己的数据集

已于 2022-03-23 16:29:14 修改
阅读量3.1k 收藏 14
点赞数 3
分类专栏： python 文章标签： pycharm python 目标检测
于 2022-03-12 15:55:59 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/frcbob/article/details/123445113
版权

YOLOv5训练自己的数据集

文件夹前期大致结构

一、创建VOCdata文件夹

在VOCdata文件夹中创建两个子文件夹，分为训练和测试。

将原始图片放入其中文件夹里的old文件夹中。

二、图片大小重置

将原始图片，统一大小。图片大小重置过后保存到JPEGImages文件夹中。

 import cv2
 import glob
 import os
 ​
 image_path = "D:/pycharm/yolov5/VOCdata/VOCTrainval/old/*.jpg"  # 原始图片路径
 output_path = "D:/pycharm/yolov5/VOCdata/VOCTrainval/JPEGImages/"   # 修改后的保存路径
 count = 0
 for jpgfile in glob.glob(image_path):
     count += 1
     #img = Image.open(jpgfile)
     image = cv2.imread(jpgfile  )
     image = cv2.resize(image,(1280,720),interpolation=cv2.INTER_CUBIC)
     cv2.imwrite(os.path.join(output_path,os.path.basename(jpgfile)), image)
     print("save%d"%count)
 print("resize finished!")

三、图片重命名

对于统一大小过后的图片，以统一格式重新命名，以便后续增加新的图片进来，代码如下：

 import os
 path=input('D:/pycharm/yolov5/VOCdata/VOCTrainval/JPEGImages/')
 ​
 #获取该目录下所有文件，存入列表中
 fileList=os.listdir(path)
 n=0
 m=0   # 图片编号从m+1开始
 for i in fileList:
     #设置旧文件名（就是路径+文件名）
     oldname=path+ os.sep + fileList[n]   # os.sep添加系统分隔符
     #设置新文件名
     newname=path+os.sep +"train"+str(m+1)+".jpg"
     os.rename(oldname,newname)   #用os模块中的rename方法对文件改名
     print(oldname,'======>',newname)
     n+=1
     m+=1

或是下面代码（第一次做自己的数据用的就是这个代码）

from skimage import data_dir, io, transform, color
import numpy as np
import cv2

# def convert_gray(f):
#     rgb = io.imread(f)  # 依次读取rgb图片
#     dst = transform.resize(rgb, (667, 500))
#     return dst
#
#     # 将灰度图片大小转换为256*256

data_dir='D:/pycharm/yolov5/VOCdata/VOCTest/old/'

str = data_dir + '/*.jpg'
coll = io.ImageCollection(str)
for i in range(len(coll)):
    io.imsave('D:/pycharm/yolov5/VOCdata/VOCTest/JPEGImages/' + 'image_'+np.str(i+0) + '.jpg', coll[i])  # 循环保存图片
 ​

四、标记图片

使用Labelimg工具对图片进行标注，标注后会生成XML文件。

使用Labelimg工具标注过后的标签放进Annotations文件夹中

标签内容如下：

全部保存过后，如下所示：

五、创建ImageSets文件夹

里面建立Main文件夹。存放的是图像物体识别的数据，有train.txt, val.txt ,trainval.txt.这三个文件（VOCTrainval文件夹下）或者test.txt 文件（VOCTest）。这几个文件我们后面会生成

六、划分训练集和测试集

训练时要有测试集和训练集，放在ImageSets\Main文件夹下。代码如下，至于训练验证集和测试集的划分比例，以及训练集和验证集的划分比例，根据自己的数据情况决定。使用下面的代码进行划分：

 import os
 import random
 ​
 xmlfilepath = 'D:\pycharm/yolov5/VOCdata/VOCTest/Annotations/'  # xml文件的路径
 saveBasePath = 'D:\pycharm/yolov5/VOCdata/VOCTest/ImageSets/'  # 生成的txt文件的保存路径
 ​
 trainval_percent = 0.9  # 训练验证集占整个数据集的比重（划分训练集和测试验证集）
 train_percent = 0.8  # 训练集占整个训练验证集的比重（划分训练集和验证集）
 total_xml = os.listdir(xmlfilepath)
 num = len(total_xml)
 list = range(num)
 tv = int(num * trainval_percent)
 tr = int(tv * train_percent)
 trainval = random.sample(list, tv)
 train = random.sample(trainval, tr)
 ​
 print("train and val size", tv)
 print("traub suze", tr)
 ftrainval = open(os.path.join(saveBasePath, 'Main/trainval.txt'), 'w')
 ftest = open(os.path.join(saveBasePath, 'Main/test.txt'), 'w')
 ftrain = open(os.path.join(saveBasePath, 'Main/train.txt'), 'w')
 fval = open(os.path.join(saveBasePath, 'Main/val.txt'), 'w')
 ​
 for i in list:
     name = total_xml[i][:-4] + '\n'
     if i in trainval:
         ftrainval.write(name)
         if i in train:
             ftrain.write(name)
         else:
             fval.write(name)
     else:
         ftest.write(name)
 ​
 ftrainval.close()
 ftrain.close()
 fval.close()
 ftest.close()
 

运行后，得到ImageSets\Main\文件下的几个.txt文件。
 

 

 

数据集制作完成。
 

 

七、将数据集转换到yolo数据集格式。
 

在VOCdata中新建一个voc_label.py文件，代码如下：
 

 
 

import xml.etree.ElementTree as ET
 import pickle
 import os
 from os import listdir, getcwd
 from os.path import join
 import  shutil
 ​
 sets=[('TrainVal', 'train'), ('TrainVal', 'val'), ('Test', 'test')]
 ​
 classes = ['dog']
 ​
 def convert(size, box):
     dw = 1./size[0]
     dh = 1./size[1]
     x = (box[0] + box[1])/2.0
     y = (box[2] + box[3])/2.0
     w = box[1] - box[0]
     h = box[3] - box[2]
     x = x*dw
     w = w*dw
     y = y*dh
     h = h*dh
     return (x,y,w,h)
 ​
 def convert_annotation(year, image_set, image_id):
     in_file = open('VOC%s/Annotations/%s.xml'%(year, image_id))
     out_file = open('VOC%s/labels/%s_%s/%s.txt'%(year, year, image_set, image_id), 'w')
     tree=ET.parse(in_file)
     root = tree.getroot()
     size = root.find('size')
     w = int(size.find('width').text)
     h = int(size.find('height').text)
 ​
     for obj in root.iter('object'):
         difficult = obj.find('difficult').text
         cls = obj.find('name').text
         if cls not in classes or int(difficult) == 1:
             continue
         cls_id = classes.index(cls)
         xmlbox = obj.find('bndbox')
         b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
         bb = convert((w,h), b)
         out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
 ​
 def copy_images(year,image_set, image_id):
     in_file = 'VOC%s/JPEGImages/%s.jpg'%(year, image_id)
     out_flie = 'VOC%s/images/%s_%s/%s.jpg'%(year, year, image_set, image_id)
     shutil.copy(in_file, out_flie)
 ​
 wd = getcwd()
 ​
 for year, image_set in sets:
     if not os.path.exists('VOC%s/labels/%s_%s'%(year,year, image_set)):
         os.makedirs('VOC%s/labels/%s_%s'%(year,year, image_set))
     if not os.path.exists('VOC%s/images/%s_%s'%(year,year, image_set)):
         os.makedirs('VOC%s/images/%s_%s'%(year,year, image_set))
     image_ids = open('VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()
     list_file = open('VOC%s/%s_%s.txt'%(year, year, image_set), 'w')
     for image_id in image_ids:
         list_file.write('%s/VOC%s/images/%s_%s/%s.jpg\n'%(wd, year, year, image_set, image_id))
         convert_annotation(year, image_set, image_id)
         copy_images(year, image_set, image_id)
 ​
     list_file.close()
 

转换后可以看到VOCData/VOCTrainval/和VOCData/VOCTest下生成了两个新的文件夹images和labels，以及相应的训练、验证、或测试的txt文件。
 

VOCTrainval文件夹结构如下：
 

 

 

VOCTest文件夹结构如下：
 

 

其中images和label文件夹下又有以相应的txt文件名命名的文件夹，里面存放了对应txt文件内容中的图片和标签信息。
 

 

八、修改配置文件
 

1、修改数据集方面的yaml文件
 

在data文件夹下创建myvoc.yaml文件
 

输入以下代码：
 

 # 上面那三个txt文件的位置
 train: ./VOCdata/VOCTrainVal/TrainVal_train.txt
 val: ./VOCdata/VOCTrainVal/TrainVal_val.txt
 test: ./VOCdata/VOCTest/Test_test.txt
 # number of classes
 nc: 4   # 修改为自己的类别数量
 # class names
 names: ["类别1", "类别2", "类别3", "类别4"]   # 自己来的类别名称
 

 

2、修改网络参数方面的yaml文件
 

这个相当于以前版本的.cfg文件，在models/yolov5s.yaml【当然，你想用哪个模型就去修改对应的yaml文件】，就修改一下类别数量：
 

 

 

3、修改train.py中的参数
 

 parser.add_argument('--epochs', type=int, default=200)  # 根据需要自行调节训练的epoch
 parser.add_argument('--batch-size', type=int, default=8)  # 根据自己的显卡调节，显卡不好的话，就调小点
 parser.add_argument('--cfg', type=str, default='models/yolov5s.yaml', help='*.cfg path') # 根据需要，自行选择模型
 parser.add_argument('--data', type=str, default='data/myvoc.yaml', help='*.data path')  # data设置为前两步中我们新建的myvoc.yaml
 parser.add_argument('--img-size', nargs='+', type=int, default=[640, 640], help='train,test sizes')  # 可调可不调
 parser.add_argument('--device', default='0', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')  # 使用CPU还是GPU训练
 

 

九、训练
 

 

训练参数

 opt参数解析：
 cfg:模型配置文件，网络结构
 data:数据集配置文件，数据集路径，类名等
 hyp:超参数文件
 epochs:训练总轮次
 batch-size:批次大小
 img-size:输入图片分辨率大小
 rect:是否采用矩形训练，默认False
 resume:接着打断训练上次的结果接着训练
 nosave:不保存模型，默认False
 notest:不进行test，默认False
 noautoanchor:不自动调整anchor，默认False
 evolve:是否进行超参数进化，默认False
 bucket:谷歌云盘bucket，一般不会用到
 cache-images:是否提前缓存图片到内存，以加快训练速度，默认False
 weights:加载的权重文件
 name:数据集名字，如果设置：results.txt to results_name.txt，默认无
 device:训练的设备，cpu；0(表示一个gpu设备cuda:0)；0,1,2,3(多个gpu设备)
 multi-scale:是否进行多尺度训练，默认False
 single-cls:数据集是否只有一个类别，默认False
 adam:是否使用adam优化器
 sync-bn:是否使用跨卡同步BN,在DDP模式使用
 local_rank:gpu编号
 logdir:存放日志的目录
 workers:dataloader的最大worker数量
 


                

        

        

    




    

      

        

            

              
                
                  oogogogogo
                
              
            

            

                关注
              
            

        

        

          
    
            
  • 
              
                
                
                
                
                    3
                
              
              
    点赞
    
            
    • 
            
  • 
              
                
                
                
              
              
    踩
    
            
    • 
            
  • 
              
                
                
                
                
                    14
                
              
              
    
                
    
                  
                    收藏
                  
                
    
              
    
              
    
                
    
                  觉得还不错?
                  
                    一键收藏
                  
                 
                
    
              
    
            
    • 
          
  • 
            
    
              
              
            
    
              
              
              
                  5
              
            
            
    评论
    
          
    • 
          
  • 
          
    • 
          
  • 
            
              
            
              
    
            
              
                
            
    
          
    • 
        

      

      

            

                专栏目录
          










                



	

		

			

				
					
YOLOv5训练自己的数据集之问题解决篇

				
			

			

				

					qq_37874136的博客
				

				

					12-25
					
					1万+
					
				

			

		

		

			
				
软硬件配置：Ubuntu + Tesla m40 24GB + cuda10.2 + anaconda
感谢小程的热心帮助~
1、ValueError: setting an array element with a sequence.
WARNING: data/images/000442.jpg: [Errno 2] No such file or directory: 'data/images/000442.jpg'

解决：
Ubuntu图片格式jpg和JPG严格区分，将train.txt、val.

			
		

	



                

              
                



	

		

			

				
					
YOLOv5训练自己的数据集之详细过程篇

					
热门推荐

				
			

			

				

					qq_37874136的博客
				

				

					12-21
					
					1万+
					
				

			

		

		

			
				
软硬件配置：Ubuntu + Tesla-m40 + cuda10.2 + anconda
一、环境部署
1、源码下载
https://github.com/ultralytics/yolov5
2、环境配置
创建虚拟环境
source create -n yolov5 python=3.7

激活虚拟环境
source activate yolov5

安装依赖库（cd到yolov5根目录requirements.txt下）
pip install -r requirements.txt

or 清华镜像

			
		

	



                


  
              

                


	

		

			

				
					
labelimg制作VOC数据集并用yolov5训练目标检测模型

				
			

			

				

					RayChiu757374816的博客
				

				

					08-03
					
					3213
					
				

			

		

		

			
				
从数据准备到labelimg工具标注数据，然后用yolov5训练目标检测的详细全流程记录。

			
		

	





	

		

			

				
					
Yolov5训练自己的数据集（超详细）

				
			

			

				

					一位安分的码农的博客
				

				

					07-08
					
					1万+
					
				

			

		

		

			
				
一、从官网下载最新的yolov5代码
二、新建VOCData文件夹

三、VOCData文件夹结构

1、新建Annotations文件夹，存放标签

简单的xml文件，应该长这样

复杂的xml文件，应该长这个样子

2、新建images文件夹，存放图片数据

注意：需要观察自己的图片文件的后缀名，后面需要用到，不然可能出现程序找不到图片的情况
3、新建split_train_val.py，用来划分训练集与验证集
运行之后，会发现VOCData文件夹里面多了ImageSets文件夹

里面包括四个txt文

			
		

	



		

			
		



	

		

			

				
					
YOLOv5手势物体识别(附代码)

					
最新发布

				
			

			

				

					z240626191s的博客
				

				

					05-04
					
					1990
					
				

			

		

		

			
				
之前是做的yolov3手势物体识别，最近几天我将该项目进行了重新的整理和升级，实现了yolov5手势物体识别，同时为了方便更多的人直接拿来应用，我生成了支持windows系统的应用小程序，即便你电脑上没有安装pytorch,没有安装cuda、python，都可以使用~！

			
		

	





	

		

			

				
					
Voc数据集简述

				
			

			

				

					qq_43718758的博客
				

				

					11-27
					
					1万+
					
				

			

		

		

			
				
VOC简单的了解

			
		

	





	

		

			

				
					
自定义dataset，教你制作自己的 VOC 数据读取器

				
			

			

				

					m0_63642362的博客
				

				

					03-05
					
					880
					
				

			

		

		

			
				
你还在为不知道如何读取 VOC 数据而感到烦恼，你还在因为官方的 VOC 数据读取文件读取自己的 VOC 报错而感到烦恼？赶紧来制作你自己的 VOC 数据吧

			
		

	





	

		

			

				
					
【目标检测】VOC数据集介绍

				
			

			

				

					haru_x的博客
				

				

					04-19
					
					3111
					
				

			

		

		

			
				
目标检测中常用的voc数据集介绍及如何制作自己的voc格式数据集

			
		

	





	

		

			

				
					
yolov5训练visdrone数据集

				
			

			

				

					05-09
				

			

		

		

			
				
总之，使用YOLOv5训练VisDrone数据集涉及数据预处理、模型配置、训练、验证和部署等多个环节，整个过程需要深入理解YOLOv5的架构和VisDrone数据集的特点，以便优化模型性能并满足具体应用场景的需求。在实际操作中，...

			
		

	





	

		

			

				
					
基于YOLOv7训练自己数据集源码+voc转yolo脚本.rar

				
			

			

				

					04-14
				

			

		

		

			
				
1、资源内容：基于yolov7训练自己数据集（完整源码+说明文档+数据）.rar 2、代码特点：参数化编程、参数可方便更改、代码编程思路清晰、注释明细。 3、适用对象：计算机，电子信息工程、数学等专业的大学生课程设计...

			
		

	





	

		

			

				
					
yolov8训练自己的数据集（源码）.rar

				
			

			

				

					05-09
				

			

		

		

			
				
在这个项目中，你将找到训练自己数据集的源代码，这对于定制化应用非常有用，比如自动驾驶、安防监控、工业检测等领域。让我们深入了解一下YOLOv8及其训练自定义数据集的关键知识点。  1. YOLO（You Only Look Once...

			
		

	





	

		

			

				
					
YOLOv8训练自己数据集

				
			

			

				

					04-10
				

			

		

		

			
				
YOLOv8训练自己数据集是一项在计算机视觉领域中常见的任务，主要应用于目标检测。YOLO（You Only Look Once）系列算法以其高效和实时性在众多目标检测模型中脱颖而出，而YOLOv8作为该系列的最新版本，优化了前代的...

			
		

	





	

		

			

				
					
YOLOv5训练车辆类型识别TXT数据集

				
			

			

				

					03-21
				

			

		

		

			
				
YOLOv5训练车辆类型识别TXT数据集.自己整理的车辆类型数据集 一共1400张图片，共分7个类別， 分别为Bus，Car，SportsCar，MicroBus，Truck，SUV，Jeep是TXT格式的数据集，用LabelImg工具进行标注，可以转成TFRecord...

			
		

	





	

		

			

				
					
Pascal VOCdata数据集读取（pytorch)

				
			

			

				

					weixin_45199303的博客
				

				

					10-13
					
					3079
					
				

			

		

		

			
				
目录

数据集介绍

数据集读取

加载带有标签数据的图片

数据集介绍

数据集下载链接

下载完成后的数据集如图所示：




文件夹结构
└── VOCdevkit #根目录
 └── VOC2007  #不同年份的数据集，这里只下载了2007的
 ├── Annotations #存放标签文件，与JPEGImages中的图片一一对应
 ├── ImageSets #该目录下存放的都是txt文件，txt文件中每一行包含一个图片...

			
		

	





	

		

			

				
					
yolov5 训练自定义数据集全过程

				
			

			

				

					jjw_zyfx的博客
				

				

					03-17
					
					754
					
				

			

		

		

			
				
old_money是自己的数据集目录，这个目录要放在datasets目录下，也就是拿着这个中心点坐标除以图片的宽度。也就是拿着这个中心点坐标除以图片的高度。也就是拿着这个框的宽度除以图片的宽度。也就是拿着这个框的高度除以图片的高度。

			
		

	





	

		

			

				
					
Yolov5训练自己的数据集（VOC）

				
			

			

				

					yang_jl2019的博客
				

				

					11-12
					
					5659
					
				

			

		

		

			
				
一、创建文件夹
在yolov5文件自带的data下创建创建如下的几个文件，包括Annotations、images、imageSets、JPEGImages 、labels。其中自己的数据集中图片放到JPEGImages,标签好的xml数据放到Annotations,再把JPEGImages中的图片复制到images中。剩下的imageSets和labels需要代码生成。

二、生成imageSets下面的文件
在imageSets下面新建Main文件，用于存放train.txt、val.txt 、trai

			
		

	





	

		

			

				
					
【YOLOv5】训练自己的数据集——学习过程记录

				
			

			

				

					weixin_73151521的博客
				

				

					10-26
					
					2014
					
				

			

		

		

			
				
YOLOv5训练自己的数据集学习流程记录
准备自己的数据集→模型训练→模型测试→模型推理

			
		

	





	

		

			

				
					
VOC2012数据集图片画框

				
			

			

				

					恰同学少年的博客
				

				

					12-20
					
					2109
					
				

			

		

		

			
				
上篇文章对VOC2007数据集画框（http://blog.csdn.net/majinlei121/article/details/78851725），本篇文章对VOC2012数据集画框 
VOC2012数据集只给了jpg格式原图片和xml的信息，想看一下ground_truth还是需要自己画出来的，下面是python画框并保存程序import os
import os.path
import n

			
		

	





	

		

			

				
					
yolov5训练自己的VOC数据集

				
			

			

				

					qq_46223426的博客
				

				

					05-17
					
					4095
					
				

			

		

		

			
				
yolov5训练自己的VOC数据集

此笔记基于yolov5的3.1版本，其他版本修改对应文件即可

一、下载
1.下载yolov5源码
在github yolov5官方仓库下载yolov5源码
仓库地址：ultralytics/yolov5: YOLOv5 🚀 in PyTorch > ONNX > CoreML > TFLite (github.com)
git镜像下载指令：git clone https://hub.fastgit.xyz/ultralytics/yolov5.git

			
		

	





	

		

			

				
					
YOLOv5训练自己数据集

				
			

			

				

					12-01
				

			

		

		

			
				
以下是使用YOLOv5训练自己数据集的步骤：

1. 准备数据集
   首先需要准备自己的数据集，包括图片和标注文件。标注文件可以使用常见的格式，如VOC、COCO等。

2. 安装YOLOv5
   在使用YOLOv5之前，需要先安装YOLOv5。可以使用以下命令进行安装：
   ```shell
   git clone https://github.com/ultralytics/yolov5.git
   cd yolov5
   pip install -r requirements.txt
   ```

3. 数据集转换
   如果数据集的格式不是YOLOv5所支持的格式，需要将其转换成YOLOv5所支持的格式。可以使用YOLOv5提供的脚本进行转换。例如，如果数据集的格式是VOC，可以使用以下命令进行转换：
   ```shell
   python3 ./yolov5/scripts/voc2yolo.py --data_path /path/to/data
   ```

4. 配置训练参数
   在训练模型之前，需要配置训练参数。可以在YOLOv5的配置文件中进行配置。例如，可以设置训练的批次大小、学习率、迭代次数等参数。

5. 训练模型
   配置好训练参数后，可以使用以下命令开始训练模型：
   ```shell
   python3 train.py --data /path/to/data --cfg ./models/yolov5s.yaml --weights '' --batch-size 16
   ```

6. 测试模型
   训练完成后，可以使用以下命令测试模型：
   ```shell
   python3 detect.py --source /path/to/test/images --weights /path/to/best/weights.pt --conf 0.4
   ```



			
		

	



              



  
“相关推荐”对你有帮助么？

  

      
    
          
  • 
              
    
                  
                  
              
    
              
    非常没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    没帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    一般
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    有帮助
    
          
    • 
          
  • 
              
    
                  
                  
              
    
              
    非常有帮助
    
          
    • 
      

      

      

          
          提交
      

      

  




          




        



    





    



      

      

        
      

      





	

		
评论 5

	

	
	




  

    

      添加红包
      
    

    

      

        
        

          
          
        

        
请填写红包祝福语或标题

      

      

        
        

          
          个
        

        
红包个数最小为10个

      

      

        
        

          
          元
        

        
红包金额最低5元

      

      

        
        

          当前余额3.43元
          前往充值 >
        

      

      

        

          需支付：10.00元
        

        
        
      

    

  





  

    
    
  

  

    
    
  








  

    

      

        

          

            
            
成就一亿技术人!

          

          

        

        

          

          

            领取后你会自动成为博主和红包主的粉丝
            规则
          

        

      

      

        

          

            
              
            
            

              
hope_wisdom
 发出的红包
            

          

        

        

          

          

          

        

      

    

    

  



      
      

      
实付元

      
使用余额支付

      

        

          

            
            点击重新获取
          

        

        
扫码支付

      

      

        
          
            
          
          
        
      

      

        
        钱包余额
          0
          

            
            

              

                
抵扣说明：

                
 1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
 2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

              

            

          

      

      余额充值