6、yolov训练前期准备

前言：这里的前提是使用labelimg进行标注，标注生成文件类型是voc类型的xml。首先需要对采集的图片进行标准处理，这个在之前的文章中有做介绍，可以直接导航过去labelImg标准图集技巧

一、图片和生成的XML文件对应

在进行标注的时候可能会有漏标的情况出现，这时候就会导致图片名和生成的XML文件名不一一对应，因此需要对图集及生成的XML文件进行处理。

解决方案：

因为xml文件名是根据被标注的图片名生成的，因此只需要对应两个文件夹下的文件名就可以，对于只存在于一个文件夹下的文件名，删掉就可以。

# -*- coding: utf-8 -*-
import os
import sys

from PIL import Image

picture_folder = r'F:\test\dataSets\220308\images'  # 源文件夹，包含.png格式图片
xml_folder = r'F:\test\dataSets\220308\xmls'  # 输出文件夹
# training_data=[]

# 防止图片是png格式  上述代码可删除使用
path1 = picture_folder

def file_name(picture_dir,xml_dir):
    jpg_list = []
    xml_list = []
    for root, dirs, files in os.walk(picture_dir):
        for file in files:
            if os.path.splitext(file)[1] == '.png' or os.path.splitext(file)[1] == '.jpg':
                jpg_list.append(os.path.splitext(file)[0])

    for root, dirs, files in os.walk(xml_dir):
        for file in files:
            if os.path.splitext(file)[1] == '.xml':
                xml_list.append(os.path.splitext(file)[0])

    xml_diff = set(xml_list).difference(set(jpg_list))
    print(len(xml_diff))
    for name in xml_diff:
        print("no jpg", name + ".xml")
        os.remove(xml_dir + "/" + name + ".xml")

    jpg_diff = set(jpg_list).difference(set(xml_list))
    print(len(jpg_diff))
    for name in jpg_diff:
        print("no json", name + ".jpg")
        os.remove(picture_dir + "/" + name + ".jpg")
    return jpg_list, xml_list


file_name(picture_folder,xml_folder)

二、数据文件划分

创建几个文件夹用于存放分割文件，images用于存放采集的图集，Annotations用于存放通过labelimg标注生成的xml文件，现在再创建两个文件夹：ImageSets（数据文件划分使用）、labels（目录三、数据集格式转换成yolo_txt格式使用）

├── data
│   ├── Annotations  进行 detection 任务时的标签文件，xml 形式，文件名与图片名一一对应
│   ├── images  存放 .jpg 格式的图片文件
│   ├── ImageSets  存放的是分类和检测的数据集分割文件，包含train.txt, val.txt,trainval.txt,test.txt
│   ├── labels  存放label标注信息的txt文件，与图片一一对应

# coding:utf-8
 
import os
import random
import argparse
 
parser = argparse.ArgumentParser()
#xml文件的地址，根据自己的数据进行修改 xml一般存放在Annotations下
parser.add_argument('--xml_path', default='Annotations', type=str, help='input xml label path')
#数据集的划分，地址选择自己数据下的ImageSets/Main
parser.add_argument('--txt_path', default='ImageSets/Main', type=str, help='output txt label path')
opt = parser.parse_args()
 
trainval_percent = 1.0
train_percent = 0.9
xmlfilepath = opt.xml_path
txtsavepath = opt.txt_path
total_xml = os.listdir(xmlfilepath)
if not os.path.exists(txtsavepath):
    os.makedirs(txtsavepath)
 
num = len(total_xml)
list_index = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list_index, tv)
train = random.sample(trainval, tr)
 
file_trainval = open(txtsavepath + '/trainval.txt', 'w')
file_test = open(txtsavepath + '/test.txt', 'w')
file_train = open(txtsavepath + '/train.txt', 'w')
file_val = open(txtsavepath + '/val.txt', 'w')
 
for i in list_index:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        file_trainval.write(name)
        if i in train:
            file_train.write(name)
        else:
            file_val.write(name)
    else:
        file_test.write(name)
 
file_trainval.close()
file_train.close()
file_val.close()
file_test.close()

三、数据集格式转换成yolo_txt格式

此时将labelimg生成的xml文件（Annotations文件夹中）转换成yolo使用的格式，.txt文件（输出在labels文件夹中）

# -*- coding: utf-8 -*-
import xml.etree.ElementTree as ET
import os
from os import getcwd
 
sets = ['train', 'val', 'test']
classes = ["aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat",
    "chair", "cow", "diningtable", "dog", "horse", "motorbike", "person",
    "pottedplant", "sheep", "sofa", "train", "tvmonitor"]   # 改成自己的类别voc2012
 
def convert(size, box):
    dw = 1. / (size[0])
    dh = 1. / (size[1])
    x = (box[0] + box[1]) / 2.0 - 1
    y = (box[2] + box[3]) / 2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return x, y, w, h
 
def convert_annotation(image_id):
    in_file = open('/home/ubuntu/yolov5/trainData/Annotations/%s.xml' % (image_id))
    out_file = open('/home/ubuntu/yolov5/trainData/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    for obj in root.iter('object'):
        difficult =None
        if obj.find('Difficult') is None:
            difficult = obj.find('difficult').text
        else:
            difficult = obj.find('Difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        b1, b2, b3, b4 = b
        # 标注越界修正
        if b2 > w:
            b2 = w
        if b4 > h:
            b4 = h
        b = (b1, b2, b3, b4)
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
 
wd = getcwd()
for image_set in sets:
    if not os.path.exists('/home/ubuntu/yolov5/trainData/labels/'):
        os.makedirs('/home/ubuntu/yolov5/trainData/labels/')
    image_ids = open('/home/ubuntu/yolov5/trainData/ImageSets/Main/%s.txt' % (image_set)).read().strip().split()
    list_file = open('/home/ubuntu/yolov5/trainData/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('/home/ubuntu/yolov5/trainData/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

引用文章：32 、 YOLO5训练自己的模型以及转ncnn模型_sxj731533730-CSDN博客