yolov5训练自己的数据集-驾驶员疲劳检测

学习目标：

yolov5训练自己的数据集-驾驶员疲劳检测

学习内容：

配置环境

conda 创建虚拟环境 conda create yolov5
解决环境无法激活

问题：You may need to close and restart your shell after running ‘conda init‘
解决：

1. 重新进入虚拟环境 source activate
2. 进入虚拟环境conda activate yolov5 (这里是自己的环境名称)
   
   查看当前环境conda info -e
   
   通过github下载yolov5，但是下载缓冲时间较慢无法下载。
   
   更换采用gitee下载
   
   下载完成
   
   
   这是下载安装好后yolov5下的包
   
   在命令行下进入yolov5目录，执行下面的命令，会把依赖包安装
   pip install -r requirements.txt
   
   安装出错，查看pip版本和更新pip都没有解决。
   
   采用conda命令安装成功
   

训练自己的数据集

1. 在 yolov5目录下 新建文件夹 MyData（可以自定义命名）
   
2. 在MyData下新建两个文件夹 Annotations 以及 images

Annotations ：用于存放标注图片后产生的内容（这里采用XML格式）
images：用于存放要标注的图片（jpg格式）

上传自己已经标注好的照片和.xml文件

3. 划分训练集、验证集、测试集
在MyData目录下创建程序 split_train_val.py 并运行

# coding:utf-8
 
import os
import random
import argparse
 
parser = argparse.ArgumentParser()
#xml文件的地址，根据自己的数据进行修改 xml一般存放在Annotations下，注意以下为相对路径
parser.add_argument('--xml_path', default='Annotations', type=str, help='input xml label path')
#数据集的划分，地址选择自己数据下的ImageSets/Main，注意以下为相对路径
parser.add_argument('--txt_path', default='ImageSets/Main', type=str, help='output txt label path')
opt = parser.parse_args()
 
trainval_percent = 1.0  # 训练集和验证集所占比例。 这里没有划分测试集
train_percent = 0.9     # 训练集所占比例，可自己进行调整
xmlfilepath = opt.xml_path
txtsavepath = opt.txt_path
total_xml = os.listdir(xmlfilepath)
if not os.path.exists(txtsavepath):
    os.makedirs(txtsavepath)
 
num = len(total_xml)
list_index = range(num)
tv = int(num * trainval_percent)
tr = int(tv * train_percent)
trainval = random.sample(list_index, tv)
train = random.sample(trainval, tr)
 
file_trainval = open(txtsavepath + '/trainval.txt', 'w')
file_test = open(txtsavepath + '/test.txt', 'w')
file_train = open(txtsavepath + '/train.txt', 'w')
file_val = open(txtsavepath + '/val.txt', 'w')
 
for i in list_index:
    name = total_xml[i][:-4] + '\n'
    if i in trainval:
        file_trainval.write(name)
        if i in train:
            file_train.write(name)
        else:
            file_val.write(name)
    else:
        file_test.write(name)
 
file_trainval.close()
file_train.close()
file_val.close()
file_test.close()

程序运行完成后会生成 ImagesSets\Main 文件夹，在这个文件夹中会生成 测试集、训练集、训练验证集、验证集 （由于这里没有分配测试集，所以测试集为空。若要分配测试集，需要更改第 14、15 行的代码，即更改对应的比例）

4. XML格式转yolo_txt格式
在MyData目录下创建程序 text_to_yolo.py 并运行

# -*- coding: utf-8 -*-
import xml.etree.ElementTree as ET
import os
from os import getcwd
 
sets = ['train', 'val', 'test']
classes = ["closed_eye","closed_mouth","open_eye","open_mouth"]  # 改为自己的类别
abs_path = os.getcwd()
print(abs_path)

 
def convert(size, box):
    dw = 1. / (size[0])
    dh = 1. / (size[1])
    x = (box[0] + box[1]) / 2.0 - 1
    y = (box[2] + box[3]) / 2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return x, y, w, h

def convert_annotation(image_id):
    in_file = open('yolov5/MyData/Annotations/%s.xml' % (image_id), encoding='UTF-8')
    out_file = open('yolov5/MyData/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        # difficult = obj.find('Difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        b1, b2, b3, b4 = b
        # 标注越界修正
        if b2 > w:
            b2 = w
        if b4 > h:
            b4 = h
        b = (b1, b2, b3, b4)
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
 
 
wd = getcwd()
for image_set in sets:
    # 这里是绝对路径，需要根据自己的情况修改
    if not os.path.exists('yolov5/MyData/labels/'):
        os.makedirs('yolov5/MyData/labels/')
    image_ids = open('yolov5/MyData/ImageSets/Main/%s.txt' % (image_set)).read().strip().split()
 
    if not os.path.exists('yolov5/MyData/dataSet_path/'):
        os.makedirs('yolov5/MyData/dataSet_path/')
 
    list_file = open('yolov5/MyData/dataSet_path/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('yolov5/MyData/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

运行代码报错，经过查找是需要在终端退出当前目录。


运行成功！会生成 labels 文件夹和 dataSet_path 文件夹。

labels 中为不同图像的标注文件。每个图像对应一个txt文件，文件每一行为一个目标的信息，分别为class, x_center, y_center, width, height，这种为 yolo_txt格式。

dataSet_path文件夹包含三个数据集的txt文件，train.txt等txt文件为划分后图像所在位置的路径，如train.txt就含有所有训练集图像的路径。

5. 修改训练的配置文件
在 yolov5 目录下的 data 文件夹下 新建一个 mydata.yaml文件（可以自定义命名）

文件内容如下：

6. 生成anchors
如果目录 yolov5/utils下有 autoanchor.py文件，那么就可以采用自动获取anchors。（yolov5版本偏低是没有的）

确保 yolov5/data/hyps/hyp.cratch.yaml中的anchors这行是注释掉的。
查看这三个文件本身就是注释掉的。
7. 修改模型配置文件，在yolov5目录下的model文件夹下是模型的配置文件，有n、s、m、l、x版本，逐渐增大（随着架构的增大，训练时间也是逐渐增大）。
这里选择yolov5s.yaml

打开 yolov5s.yaml，最好将yolov5s.yaml文件复制一份，然后将其重命名，我将其重命名为my_yolov5s.yaml。所有冒号后面需要加一个空格。

在yolov5下找到train.py这个.py文件。
在第442行def parse_opt(known=False): 下
这里面有模型的主要参数，训练自己的模型需要修改如下几个参数就可以训练了。

首先将weights权重的路径填写到对应的参数里面

然后将修好好的models模型my_yolov5s.yaml文件路径
填写到相应的参数里面，最后将data文件下mydata.yaml文件路径填写到相对于的参数里面。
这几个参数是必须要修改的参数。

进入yolov5目录下，运行python train.py，报错

安装yaml模块 pip install pyyaml

安装tqdm模块 pip install tqdm

问题一直是这样，，我们想应该还是之前在安装requirmets时的错误
在实例监控——>实用工具这里，可以查看到默认是阿里源，此时在安装requirmets需要后缀阿里源地址，而==pip install -r requirements.txt ==是默认其本身的，在这里将源修改。


修改好后运行依然报错，我们打开requirmets文件，将python版本为3.1.30改为3.1.20，保存继续运行


运行结束，还是报错，会显示numpy版本不能满足！！！

问题无法解决

直接在服务器安装好 yolov5，然后使用前面弄好的数据集看一下能否跑出结果。
将之前创建好的文件下载到本地，在镜像中选择社区镜像yolov5下载，然后上传文件。

可以运行！

这里又存在新问题，就是训练结果都为0，这显然是不对的，然后会发现是照片找不到，
尝试了很多办法，在网上也找了很多。
最后发现是因为在服务器上传文件时，可能由于文件太大，导致都没有上传完。重新上传文件后，就可以运行了。

总结一下：
第一就是最简单的基本的配置环境都有问题!!!
第二就是一定要注意路径统一！！！

学习时间：

2023.9.16