【自用记录向】YOLOv5模型训练，按进度更新

已于 2022-03-18 10:13:11 修改
阅读量3.2k 收藏 8
点赞数
文章标签： 深度学习
于 2022-03-13 11:27:29 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_48838378/article/details/122686001
版权

【自用记录向】YOLOv5模型训练，按进度更新

图像收集

确定欲研究方向，搜集相关的图片，每种类别大概需要2百张左右。
代码来源：爬取百度图片——详细思路

import requests
import os
import urllib
 
class Spider_baidu_image():
    def __init__(self):
        self.url = 'http://image.baidu.com/search/acjson?'
        self.headers = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.\
            3497.81 Safari/537.36'}
        self.headers_image = {
            'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.\
            3497.81 Safari/537.36','Referer':'http://image.baidu.com/search/index?tn=baiduimage&ipn=r&ct=201326592&cl=2&lm=-1&st=-1&fm=result&fr=&sf=1&fmq=1557124645631_R&pv=&ic=&nc=1&z=&hd=1&latest=0&copyright=0&se=1&showtab=0&fb=0&width=&height=&face=0&istype=2&ie=utf-8&sid=&word=%E8%83%A1%E6%AD%8C'}
        # self.keyword = '黄瓜幼苗'
        self.keyword = input("请输入搜索图片关键字:")
        self.paginator = int(input("请输入搜索页数，每页30张图片："))
        # self.paginator = 50
        # print(type(self.keyword),self.paginator)
        # exit()
    def get_param(self):
        """
        获取url请求的参数，存入列表并返回
        :return: 
        """
        keyword = urllib.parse.quote(self.keyword)
        params = []
        for i in range(1,self.paginator+1):
            params.append('tn=resultjson_com&ipn=rj&ct=201326592&is=&fp=result&queryWord={}&cl=2&lm=-1&ie=utf-8&oe=utf-8&adpicid=&st=-1&z=&ic=&hd=1&latest=0&copyright=0&word={}&s=&se=&tab=&width=&height=&face=0&istype=2&qc=&nc=1&fr=&expermode=&force=&cg=star&pn={}&rn=30&gsm=78&1557125391211='.format(keyword,keyword,30*i))
        return params
 
    def get_urls(self,params):
        """
        由url参数返回各个url拼接后的响应，存入列表并返回
        :return:
        """
        urls = []
        for i in params:
            urls.append(self.url+i)
        return urls
    def get_image_url(self,urls):
        image_url = []
        for url in urls:
            json_data = requests.get(url,headers = self.headers).json()
            json_data = json_data.get('data')
            for i in json_data:
                if i:
                    image_url.append(i.get('thumbURL'))
        return image_url
    def get_image(self,image_url):
        """
        根据图片url，在本地目录下新建一个以搜索关键字命名的文件夹，然后将每一个图片存入。
        :param image_url: 
        :return: 
        """
        cwd = os.getcwd()
        file_name = os.path.join(cwd,self.keyword)
        if not os.path.exists(self.keyword):
            os.mkdir(file_name)
        for index,url in enumerate(image_url,start=1):
            with open(file_name+'\\{}.jpg'.format(index),'wb') as f:
                f.write(requests.get(url,headers = self.headers_image).content)
            if index != 0 and index % 30 == 0:
                print('{}第{}页下载完成'.format(self.keyword,index/30))
    def __call__(self, *args, **kwargs):
        params = self.get_param()
        urls = self.get_urls(params)
        image_url = self.get_image_url(urls)
        self.get_image(image_url)
 
if __name__ == '__main__':
    spider = Spider_baidu_image()
    spider()

标注文件转换

YOLOv5模型要求.txt格式的标注文件，而一般标注出来的文件是.xml格式的标注文件，故需要转换。
代码参考：如何将xml格式转换为yolov5所需的txt格式

#导入的python模块
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
import glob

#分类名
classes = ["cucumber","Hydrocotyle L","Chlorophytum","eggplant","pakchoi","tomato","radish","sundew","majoram","petunia"]
#类名标识name: 黄瓜叶	   轮生香菇草      	吊兰         	茄子     	青菜	    番茄	       萝卜	 茅膏菜	   牛至	     矮牵牛


"""
方法作用:转换标注信息
方法参数:size，box
"""
#size数组含有图片的规格信息
#box数组含有标注框的具体信息
#.xml格式存储的是标注框的左上角坐标（xmin,ymin）和右下角坐标（xmax，ymax）
#.txt格式存储的是标注框在整张图片中的中心点相对坐标（x,y）和相对宽高(w,h)

def convert(size, box):
    dw = 1.0 / size[0]
    dh = 1.0 / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw #中心点相对横坐标
    w = w * dw #中心点相对纵坐标
    y = y * dh #相对宽
    h = h * dh #相对高
    return (x, y, w, h)

"""
方法作用:转换文件格式
方法参数:image_name（图片名）
"""
def convert_annotation(image_name):
    in_file = open('E:/大创项目/格式转换/formatConversion/labels/train_xml/' + image_name[:-3] + 'xml',encoding='utf-8')  # xml文件路径
    out_file = open('E:/大创项目/格式转换/formatConversion/labels/train_txt/' + image_name[:-3] + 'txt', 'w',encoding='utf-8')  # 转换后的txt文件存放路径
    f = in_file
    xml_text = f.read()
    root = ET.fromstring(xml_text)
    f.close()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        cls = obj.find('name').text
        if cls not in classes:
            print(cls)
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')


wd = getcwd()

if __name__ == '__main__':

    for image_path in glob.glob("E:/大创项目/格式转换/formatConversion/images/train/*.jpg"):  # 每一张图片都对应一个xml文件这里写xml对应的图片的路径
        image_name = image_path.split('\\')[-1]
        convert_annotation(image_name)

注意：linux路径需改动倒数第二句，改动如下：

image_name = image_path.split('/')[-1]

数据扩增

这部分工作交由其他小伙伴完成了。

下载YOLOv5的初始化模型

1、官网下载（慢）：https://github.com/ultralytics/yolov5
2、网盘链接,提取码：tno6

搭建数据训练集

目录结构如下图
数据集文件结构

images文件夹存放样本图片
labels文件夹存储标注信息
train文件夹需要80%-90%左右的图片或样本，用于模型训练
val文件夹需要10%-20%左右的图片或样本，用于模型验证

1、按照文件结构进行布置

  1. 随机抽取一定比例图片，用作验证集。代码来源
#随机取一定比例的图片存入另一个文件夹的代码
import os, random, shutil
 
def moveFile(fileDir, tarDir):
    pathDir = os.listdir(fileDir)  # 取图片的原始路径
    filenumber = len(pathDir)
    rate = 0.2  # 自定义抽取图片的比例，比方说100张抽10张，那就是0.1
    picknumber = int(filenumber * rate)  # 按照rate比例从文件夹中取一定数量图片
    sample = random.sample(pathDir, picknumber)  # 随机选取picknumber数量的样本图片
    print(sample)
    print(len(sample))
    for name in sample:
        shutil.move(fileDir + name, tarDir + name)
 
 
if __name__ == '__main__':
    fileDir = "C:/KuoZeng/200-至少1种方式组合xml/"  # 源图片文件夹路径
    tarDir = 'C:/KuoZeng/'  # 移动到新的文件夹路径
    moveFile(fileDir, tarDir)
  1. 取出同名标注的代码，由以上代码改造而来
#根据前边所取图片名取出同名标注的代码
import os, random, shutil
import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join
import glob
 
def moveFile(fileDir, tarDir, image_name):
    pathDir = os.listdir(fileDir)  # 取图片的原始路径
    filenumber = len(pathDir)
   # rate = 0.5  # 自定义抽取图片的比例，比方说100张抽10张，那就是0.1
   # picknumber = int(filenumber * rate)  # 按照rate比例从文件夹中取一定数量图片
   # sample = random.sample(pathDir, picknumber)  # 随机选取picknumber数量的样本图片

    #print(sample)
    #print(len(sample))
    #for name in sample:
    shutil.move(fileDir + image_name[:-3] + 'txt', tarDir + image_name[:-3] + 'txt')
 
 
if __name__ == '__main__':
    fileDir = '/hy-tmp/datasets/demo2/lables/train/'  # 源图片文件夹路径
    tarDir = '/hy-tmp/datasets/demo2/lables/train-2/'  # 移动到新的文件夹路径
    for image_path in glob.glob("/hy-tmp/datasets/demo2/images/train-2/*.jpg"):  # 每一张图片都对应一个xml文件这里写xml对应的图片的路径
        image_name = image_path.split('/')[-1]
        moveFile(fileDir, tarDir, image_name)

注意：Windows路径需改动倒数第二句，改动如下：

image_name = image_path.split('\\')[-1]

2、创建数据集文件demo1.yaml
yaml的书写规范如下：

  1. 冒号: 后跟一个空格
  2. 路径用/ 而不用 \
  3. 以train.py为出发点，上上级别中找datasets文件夹，所以是../
path: ../datasets/demo1 # dataset root dir
#训练图片集路径
train: ../datasets/demo1/images/train  # train images (relative to 'path') 128 images
#验证图片集路径
val: ../datasets/demo1/images/val  # val images (relative to 'path') 128 images
#测试图片集路径
test:  
# test images (optional)
#分类数量：10
nc: 10
#分类名
names: ['cucumber','Hydrocotyle L','Chlorophytum','eggplant','pakchoi','tomato','radish','sundew','majoram','petunia']

3、修改配置模型的yaml文件
进入./yolov5-master/models/
选择欲训练的模型文件，修改nc个数，改成需要识别的分类数量
模型配置文件

租用GPU服务器，搭建模型训练

我记录在了另一篇博客中，链接

模型推理

#（单张图）

python detect.py --source  ./data/images/1.jpg --weights ./runs/train/exp3/weights/best.pt  --device 0 --save-txt

#（整个文件夹中的所有图）

python detect1.py --source  ./data/images/ --weights ./runs/train/exp3/weights/best.pt  --device 0 --save-txt

说明：
python detect1.py --source 被推理图片所在路径 --weights 权重文件路径 --device 0 --save-txt
–save-txt可选，命令带有则会生成.txt文件记录推理出的标注框坐标信息等】
推理结果默认被存在：./runs/detect/exp*

推理结果1

推理结果2

参考链接：
1、yolov5 文件函数detect分析
2、yolov5修改detect.py生成新的txt文本
3、python：批量读取图片和批量添加文本

#图片添加文字代码解读
#导入相关模块
import cv2
import os
from PIL import Image,ImageDraw,ImageFont

src_path = /hy-tmp/src/1.jpg #读入的图片路径
des_path = /hy-tmp/des/1.jpg #保存的图片路径
pict=cv2.imread(src_path) #读取图片

font = cv2.FONT_HERSHEY_DUPLEX  # 字体样式
##在图片中添加文字
cv2.putText(pict, addText, (50,50), font,2, (255, 0, 0), 2 )
##putText（）参数说明
#1.输入图像
#2.需要添加的文字
#3.左上角坐标
#4.字体类型
#5.字体大小
#6.文字颜色
#7.字体粗细
cv2.waitKey(0)
cv2.imwrite(des_path,pict) #写入
tno6
关注
  • 0
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
YOLOv5训练速度慢的一些解决方法
weixin_54048889的博客
11-19 2万+
针对自建数据集，yolov5模型训练速度很慢的可能原因和解决方法。
用yolov5训练了一个自己的数据集效果杠杠的
yuejich的博客
06-25 6038
cv识别无人机（yolo算法） 在github上download了yolov5的源码，想用视觉识别一下空中飞行的无人机，识别对象有：1：鸟类bird，2：无人机UAV，3：直升机helicopter；想通过自己创建一个数据集，训练yolov5，在调用detect.py来识别一下效果。 第一步还是把最终训练出来的效果放上 我把视频上传到b站了 准备数据集 百度了一下，在B站上看到有一个视频是做这个识别的，私信了up主，也没有理我，索性自己弄一个数据集吧！再说了有用不了半个小时。（这里提醒大家，自己做数据集不费
AI学习笔记四：yolov5训练自己的数据集
07-26 2019
若该文为原创文章，转载请注明原文出处。一般情况下，大部分人的电脑都是没有cpu的，cpu也是可以训练的，但花费的时间太长，实际200张图片，使用CPU训练300轮花了3天，本章记录使用云服务器来训练自己的数据集。使用的云服务器是AutoDL,一直在使用，性价比还是比较高的。
【YOLO使用】YOLOv5训练目标检测任务入门用法（一）
weixin_41861700的博客
07-11 3940
YOLOv5 What is YOLO “You Only Look Once”或“YOLO”是一个对象检测算法的名字，这是Redmon等人在2016年的一篇研究论文中命名的。是当前出色的目标检测算法之一。(Github官方地址: YOLOv5-Github) Why choice YOLO YOLO系列的算法是目标识别任务中比较前沿的算法之一。由于其出色的推理速度、较小的模型大小和妈妈般的呵护(提供大量的方便的接口)，广受开发者的喜爱。下图是YOLOv3与其他目标检测算法性能的比较，其图来自YOLOv3论
手把手教你：远程服务器跑MMYOLO时，本地tensorboard查看训练过程
weixin_46292677的博客
03-29 415
1. 在新建的config文件中添加tensorboard配置。开始训练后tensorboard文件生成在可视化文件夹work_dirs/yolov5_s-v61_syncbn_fast_1xb32-100e_cat/${TIMESTAMP}/vis_data 下。官方教程是本地训练、本地tensorboard查看训练过程的，少了远程跑本地看的教程。结合相关文章，总结远程训练、本地查看的教程。说不用建通道直接能看，我没试成功......有会的大佬欢迎留言~2. 服务器端口运行下面的指令。
yolov5数据集，测试yolov5环境是否安装成功.zip
03-14
本压缩包中的“yolov5数据集自用练习”可能是一个小型的自定义数据集，用于快速测试模型。通常，数据集应包括标注过的图像，每个图像对应一个标注文件，描述了图像中每个目标的边界框和类别信息。 5. **训练与验证*...
vgg预训练模型--自用
01-08
在标题中提到的"vgg预训练模型--自用"，意味着这个模型已经经过了大量的图像数据训练，具有对图像分类的强大能力。预训练模型对于初学者和研究人员非常有用，因为它们可以直接用于新任务的迁移学习，无需从零开始...
自用的基于HTML5的文件上传组件.zip
02-13
在"自用的基于HTML5的文件上传组件.zip"这个压缩包中，包含的"uploadHfive-master"可能是一个实现了HTML5文件上传功能的开源项目。让我们深入探讨一下HTML5在文件上传方面的核心特性及其应用。 1. **File API**: ...
自用-ref-npr自采集数据训练流程
12-18
自用-ref-npr自采集数据训练流程
自用导入导出模型插件
09-18
而在数据分析或机器学习领域，模型可能是指经过训练的算法，能够根据输入数据预测输出结果。无论哪种情况，导入和导出模型都是至关重要的，因为它们允许用户在不同的软件、项目或团队间共享和复用工作成果。 导入...
九天毕昇训练yoloV5，50小时免费的v100
ljlqwer的博客
09-06 6853
九天毕昇训练yolo的过程
[python][原创]模拟实现yolov5训练时候终端的训练进度显示
FL1623863129的博客
08-28 868
话不多少，直接上代码。
Yolov3之训练日志可视化
duanyajun987的博客
03-12 2700
yolov3训练日志可视化主要为loss和iou曲线的可视化，这些是我们查看训练效果的重要依据，首先看一个批次的日志输出： 说明： 一个批次有16*3条信息，每组包含三条信息，分别是： Region 82 Avg IOU: Region 94 Avg IOU: Region 106 Avg IOU: 其中每行的参数意义如下： Avg IOU:当前迭代中，预测的box与标注的box的平均交并...
yolov5实战分析
最新发布
weixin_63528244的博客
03-20 374
pre-process：图像预处理时间，包括图像保持长宽比缩放和padding填充，通道变换（HWC->CHW）和升维处理等；inference：推理速度，指预处理之后的图像输入模型到模型输出结果的时间；NMS ：你可以理解为后处理时间，对模型输出结果经行转换等；FPS=1000ms除以这三个时间之和。获得模型的推理时间（或者说FPS）
本地pytorch环境下利用YOLOv5训练自己的数据（包括加速训练参数设置与tensorboard查看）
qq_45874142的博客
05-25 4779
在本地环境利用YOLOv5训练自己的数据集（已完成）
YOLOV5训练的若干问题总结
JustinChen
07-11 9200
YOLOV5部署到本地的记录
云GPU运行yolov5模型训练
EXYlkx的博客
06-20 5888
云GPU运行yolov5模型训练，傻瓜式教学
YOLOV5模型训练
m0_47096428的博客
01-05 1272
介绍YOLOV5的训练过程.
YOLO-v4训练全过程笔记
王泽邦（bill）の博客
09-29 399
0726_yolo4_chebiaoshibie是总的工程文件 ①：0726_yolo4_chebiaoshibie》yolov4-keras-master》VOCdevkit》VOC2007》Annotation文件夹里放入所有打好标签的标签文件 ②：0726_yolo4_chebiaoshibie》test.py文件 运行 ③：0726_yolo4_chebiaoshibie》voc_annotation.py文件里的class改成要训练的类别，然后再运行，文件夹名不要有中文标签，不要有空格 ④
yolov8修改训练
08-12
对于修改yolov8的训练方式，有两种方法可以选择。第一种方法是通过命令行输入指令来开始训练。你可以使用以下命令：`yolo task=detect mode=train model=models/v8/yolov8n.yaml data=data/coco.yaml batch=8 epochs...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值