yolov5训练自己的数据集

yolo系列在目标检测领域的地位就不用说了，github上有pytorch实现的训练yolov5的代码，本文将用自己的数据去训练一个yolov5的模型。参考代码地址

https://github.com/ultralytics/yolov5/tags

注意这里我们选择tags下的v1.0版本进行训练，不同的版本代码是不一样的，复现过程也有所差异。其中v1.0版本的训练过程和yolov3很相似 

一、准备自己的数据

数据的标注，采用labelImg软件，保存下来的都是.xml格式的标注文件。本次大概使用8k张图片，训练８个类别（样本就不截图了）

二、训练过程

2.1 分离数据集 

先在yolov5-1.0文件夹下面新建一个文件夹，里面放上自己的图片数据和标签数据，如下所示：

其中images里为原图片，Annotations里为标注文件，序号和images内的一一对应。

然后新建一个split_train_val.py文件划分训练集和验证集，并生成三个保存文件名的文件在ImageSets下面分别为train.txt  val.txt  trainval.txt  test.txt

# coding:utf-8

import os
import random
import argparse

parser = argparse.ArgumentParser()
# xml文件的地址，根据自己的数据进行修改 xml一般存放在Annotations下
parser.add_argument('--xml_path', default='zjyn_data/Annotations', type=str, help='input xml label path')
# 数据集的划分，地址选择自己数据下的ImageSets/Main
parser.add_argument('--txt_path', default='zjyn_data/ImageSets', type=str, help='output txt label path')
opt = parser.parse_args()

trainval_percent = 1.0
train_percent = 0.9
xmlfilepath = opt.xml_path
txtsavepath = opt.txt_path
total_xml = os.listdir(xmlfilepath)
if not os.path.exists(txtsavepath):
    os.makedirs(txtsavepath)

num = len(total_xml)
list_index = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list_index, tv)
train = random.sample(trainval, tr)

file_trainval = open(txtsavepath + '/trainval.txt', 'w')
file_test = open(txtsavepath + '/test.txt', 'w')
file_train = open(txtsavepath + '/train.txt', 'w')
file_val = open(txtsavepath + '/val.txt', 'w')

for i in list_index:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        file_trainval.write(name)
        if i in train:
            file_train.write(name)
        else:
            file_val.write(name)
    else:
        file_test.write(name)

file_trainval.close()
file_train.close()
file_val.close()
file_test.close()

这个脚本的作用就是把训练集和验证集按照9:1的比例分开，然后生成对应的txt文件。

2.2 把xml标注文件转为txt

新建xml_2_txt.py脚本如下：

# -*- coding: utf-8 -*-
import xml.etree.ElementTree as ET
import os
from os import getcwd

sets = ['train', 'val', 'test']

# 改成自己的类别
classes = ["person", "sport_ball", "bar", "ruler", "cursor", "blanket", "marker_post", "mark_barrels"]
abs_path = os.getcwd()
print(abs_path)


def convert(size, box):
    dw = 1. / (size[0])
    dh = 1. / (size[1])
    x = (box[0] + box[1]) / 2.0 - 1
    y = (box[2] + box[3]) / 2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return x, y, w, h


def convert_annotation(image_id):
    in_file = open('zjyn_data/Annotations/%s.xml' % (image_id), encoding='UTF-8')
    out_file = open('zjyn_data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    for obj in root.iter('object'):
        # difficult = obj.find('difficult').text
        difficult = obj.find('Difficult')
        if difficult is None:
            difficult = obj.find('difficult')
        difficult = difficult.text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        b1, b2, b3, b4 = b
        # 标注越界修正
        if b2 > w:
            b2 = w
        if b4 > h:
            b4 = h
        b = (b1, b2, b3, b4)
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')


wd = getcwd()
print(wd)

for image_set in sets:
    if not os.path.exists('zjyn_data/labels/'):
        os.makedirs('zjyn_data/labels/')
    image_ids = open('zjyn_data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    list_file = open('zjyn_data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write(abs_path + '/zjyn_data/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

 这里说明几个地方：

classes列表改写成自己的类别就可以，要和data/*.yaml文件的类别对应

脚本作用就是根据之前生成的train.txt和val.txt保存的图片名字找到对应的label文件，然后转成txt的形式保存。具体保存形式为:

同时在zjyn文件夹下生成对应图片的绝对路径train.txt, val.txt

2.3 开始训练

项目下的train.py为训练文件。

 在main函数下设置一些超参数，注意几个地方就好。

batch_size根据自己显卡的配置进行设置，越大越好，我用的2080Ti，在batch_size为32时显存快要占满，再大就会报out_of_momery错误。

--cfg这个参数为模型的网络结构文件

四个文件都是网络模型的超参数定义文件，代表不同的网络结构，其中yolov5s最简单，其他的都是在此基础上加深加宽而已。

注意要做相应的修改，比如如果用yolov5s，那就要修改yolov5s.yaml文件里

#nc改为自己的类别数
nc = 8

 --data这个参数表示数据的yaml文件路径，如下：

# train and val datasets (image directory or *.txt file with image paths)
train: /home/elvis/project2021/yolov5-1.0-copy/zjyn_data/train.txt  # 6648 images
val: /home/elvis/project2021/yolov5-1.0-copy/zjyn_data/val.txt  # 738 images   train+val = 7387
test: /home/elvis/project2021/yolov5-1.0-copy/zjyn_data/test.txt

# number of classes
nc: 8

# class names
names: ["person", "sport_ball", "bar", "ruler", "cursor", "blanket", "marker_post", "mark_barrels"]

names和自己的类别列表对应

image_size参数。这个表示网络的输入大小，理论上网络输入越大，对于小目标的识别效果越好。整体识别效果也越好

--weights 预训练模型的文件。可有可无，用于初始化。有预训练模型的话损失函数会收敛的更快。

三、训练结果

如果是自己的数据样本不均衡，比如在我的数据里人有很多，其他类别较少，因为源代码是根据数据自动聚类选取的anchor，所以训练出的map很低。所以我取消了聚类选取anchor改用使用默认的anchor效果好多了。在train.py文件里把check anchors注释就好了。

最终8k数据经过300个epoch的训练，在2080Ti上历时7hours，训练结果为: map = 0.65