【Robomaster-ICRA-AI挑战赛跳坑篇】（三、YOLOv3-tiny实现装甲板识别）

最新推荐文章于 2024-04-07 20:26:12 发布

我的大名王二狗

最新推荐文章于 2024-04-07 20:26:12 发布

阅读量4.1k

点赞数

本文链接：https://blog.csdn.net/qq_30193419/article/details/82460870

版权

流程简介：

1.准备照片，分训练集和验证集两类。

2.使用labelimg工具，将目标圈出来，贴好标签，生成XML文件。

3.借助createID.py生成训练集和验证集的图片名称列表trainImageId.txt和validateImageId.txt。

4.借助trans.py生成训练集和验证集的完整路径列表并完成标签xml文件到txt文件的转换。

5.修改配置文件，开始训练。

YOLOv3安装

计划采用Yolov3来实现机器人装甲板识别的功能，因此，需要安装yolov3,

打开yolo的官网，先按照步骤一步一步https://pjreddie.com/darknet/

YOLOv3测试

装好yolo后，运行测试，发现yolov3.weights运行不起来。系统提示killed。但是yolov3-tiny.weights，这个轻量级权重可以运行起来，接上摄像头以后，同样的问题。后来通过系统监视器，发现，只要一跑weights，内存就不够了。

解决办法：开辟虚拟内存，增加swap分区，具体教程参考如下链接，TX2内存8G，因此,swap分区开辟8G。

https://www.cnblogs.com/EasonJim/p/7487596.html

VOC数据集制作

一.准备照片

想要使用YOLOv3实现装甲板识别，首先需要用自己的数据去训练网络。为了实现装甲板的识别，我们分别在装甲板灯柱不亮、亮蓝光、亮红光三种情况下共选取装甲板照片2000张用于作为训练集，100张作为验证集，并对装甲板整体进行框选从而得到装甲板中心在像素坐标系的坐标以及装甲板在像素坐标系里的长宽的值，生成相应的XML文件用于训练，识别精度效果较之前虽有所提高，但并不理想。因此改变方案——只框选两个灯柱之间的装甲板，效果显示机器人对装甲板的识别精度经进一步提高，之后我们又选取三种颜色的装甲板照片200张作为训练集，但只对装甲板上的两个灯柱分别进行框选，横的竖的，各种距离各种角度的。然后把他们分成两部分，40张用来做验证，160张用来做训练。用同样的方法训练后识别精度又提高不少。

最后我们又对车的整体框选并进行训练，原因是装甲板距离较远时，对灯柱识别难度太大，但是对车的识别较为容易

将采集好的数据集分为训练集和测试集时，最好在原来数据集中等间隔取出图片用作验证集，把各种角度，环境亮度和远近距离的情况都包括在内，这样训练结果更有代表性。

在darknet主目录下创建4个文件夹： trainImage、validateImage、trainImageXML 和 validateImageXML，分别存放第2步中的训练集图片、验证集图片、训练集xml标签和验证集xml标签。将做好的图片先放进去，之后开始做标签。

【注意】：生成的XML文件中会包含文件位置，所以一定先新建文件夹，把图片放进去之后再进行标注。

二.打标工具，LabelImage安装

关于打标工具，网上给出了好多教程，推荐使用工具LabelImage.安装这个工具首先要安装PyQt4,链接如下：

https://blog.csdn.net/xingchengmeng/article/details/53939539

【注意】：在这块绕了很大弯子，首先，需要安装pip工具，版本:pip-18.0

通过PIP安装SIP版本太低，所以采用如下方式：

安装sip,版本4.18，之后安装PyQt，版本:PyQt-x11-gpl-4.11.3

sip下载地址：http://www.riverbankcomputing.co.uk/software/sip/download

PyQt下载地址：https://sourceforge.net/projects/pyqt/

经过测试，这两个版本匹配，可以使用，否则，sip版本过高（4-19.12）提示core jumped。版本太低（4-16.5），会提示：the sip module implements API v11.0 to v11.1 but the PyQt5.QtGui module requires API v11.2。

有时候，可能因为机子里装的PyQt5导致PyQt4安装上也没法使用labelimg

执行：

conda uninstall pyqt=4

就可以把PyQt5降为PyQt4.

三.开始打标签，使用Labelimg工具，将目标圈出来，保存成XML文件。

【提示】：Labelimg快捷键：

ctrl+s 保存 a 上一张图片

w 圈图 d 下一张图片

使用Labelimg可设置相同命名和自动保存模式，减少工作量

四.使用createID.py生成训练集和验证集的图片名称列表trainImageId.txt和validateImageId.txt

代码如下：

# -*- coding: utf-8 -*-
import os;
import shutil;
 
def listname(path,idtxtpath):
    filelist = os.listdir(path);  # 该文件夹下所有的文件（包括文件夹）
    filelist.sort()
    f = open(idtxtpath, 'w');
    for files in filelist:  # 遍历所有文件
        Olddir = os.path.join(path, files);  # 原来的文件路径
        if os.path.isdir(Olddir):  # 如果是文件夹则跳过
            continue;
        f.write(files);
        f.write('\n');
    f.close();
 
savepath = os.getcwd()
imgidtxttrainpath = savepath+"/trainImageId.txt"
imgidtxtvalpath = savepath + "/validateImageId.txt"
listname(savepath + "/trainImage",imgidtxttrainpath)
listname(savepath + "/validateImage",imgidtxtvalpath)
print "trainImageId.txt && validateImageId.txt have been created!"

在Darknet下新建文件createID.py，将代码复制进去,之后运行：

cd darknet
python createID.py

进行多次训练时，需要删除之前生成的txt文件

五.使用trans.py生成训练集和验证集的完整路径列表并完成标签xml文件到txt文件的转换。

代码如下，使用方式相同

【注意】:

1.根据自己的分类，修改 classes = ["class1","class2","class3","class4"]，有几个写几个，比如我有三个分类：classes = ["blue"，“red”，“enemy”] #必须写成自己的分类.

如果运行命令报错，很有可能是有的图片漏掉没有打标，可通过出错的图片路径，在打标工具中寻找，不用逐张筛查

import xml.etree.ElementTree as ET
import pickle
import string
import os
import shutil
from os import listdir, getcwd
from os.path import join
import cv2
 
sets=[('2012', 'train')]
 
classes = ["class1","class2","class3","class4"]
 
def convert(size, box):
    dw = 1./size[0]
    dh = 1./size[1]
    x = (box[0] + box[1])/2.0
    y = (box[2] + box[3])/2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)
 
def convert_annotation(image_id,flag,savepath):
 
    if flag == 0:
        in_file = open(savepath+'/trainImageXML/%s.xml' % (os.path.splitext(image_id)[0]))
        out_file = open(savepath+'/trainImage/%s.txt' % (os.path.splitext(image_id)[0]), 'w')
        tree = ET.parse(in_file)
        root = tree.getroot()
        size = root.find('size')
 
        img = cv2.imread('./trainImage/'+str(image_id))
        h = img.shape[0]
        w = img.shape[1]
 
    elif flag == 1:
        in_file = open(savepath+'/validateImageXML/%s.xml' % (os.path.splitext(image_id)[0]))
        out_file = open(savepath+'/validateImage/%s.txt' % (os.path.splitext(image_id)[0]), 'w')
 
        tree = ET.parse(in_file)
        root = tree.getroot()
        size = root.find('size')
 
        img = cv2.imread('./validateImage/' + str(image_id))
        h = img.shape[0]
        w = img.shape[1]
 
    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')
 
wd = getcwd()
 
for year, image_set in sets:
    savepath = os.getcwd();
    idtxt = savepath + "/validateImageId.txt";
    pathtxt = savepath + "/validateImagePath.txt";
    image_ids = open(idtxt).read().strip().split()
    list_file = open(pathtxt, 'w')
    s = '\xef\xbb\xbf'
    for image_id in image_ids:
        nPos = image_id.find(s)
        if nPos >= 0:
            image_id = image_id[3:]
        list_file.write('%s/validateImage/%s\n' % (wd, image_id))
        print(image_id)
        convert_annotation(image_id, 1, savepath)
    list_file.close()
 
    idtxt = savepath + "/trainImageId.txt";
    pathtxt = savepath + "/trainImagePath.txt" ;
    image_ids = open(idtxt).read().strip().split()
    list_file = open(pathtxt, 'w')
    s = '\xef\xbb\xbf'
    for image_id in image_ids:
        nPos = image_id.find(s)
        if nPos >= 0:
           image_id = image_id[3:]
        list_file.write('%s/trainImage/%s\n'%(wd,image_id))
        print(image_id)
        convert_annotation(image_id,0,savepath)
    list_file.close()

六. 修改配置文件

1.修改data/voc.names 文件

     把 voc.names文件内容改成自己的分类，例如有3个分类class_1,class_2,class_3,则voc.names内容改为：
      class_1
      class_2
      class_3

我的网络只有一个，就写armor.

2.修改cfg/voc.data文件

根据自己的实际情况做以下修改：
   classes = N       #（N为自己的分类数量，如有1类不同的对象，N = 1）
   train = /home/XXX/darknet/trainImagePath.txt    # 训练集完整路径列表
   valid = /home/XXX/darknet/validateImagePath.txt   # 测试集完整路径列表
   names = data/voc.names    # 类别文件
   backup = backup     #（训练结果保存在darknet/backup/目录下）

3.修改cfg/yolov3-tiny.cfg 文件

   1. classes = N （N为自己的分类数）
   2. 修改每一个[yolo]层（一共有3处）之前的filters为 3*(classes+1+4)，如有3个分类，则修改 filters = 24
   3. 修改训练的最大迭代次数， max_batches = N,默认50200，太多了，训练了36个小时，可以改小一点。

4.修改cfg/yolov3-tiny.cfg中的

#Testing
batch=1
subdivisions=1
#Training
#batch=32
#subdivisions=4

我们要训练网络，所以将Testing的batching注释掉，将Training的batch和subdevision取消注释。（训练完了记得改回来再测试）这里的batch，subdevision依据自己的显卡性能来调整。性能好可以改大batch,改小subdivisions，性能差可以改小batch,改大subdivisions。subdivisions的意思是，将batch分成好几份送入网络。

七.开始训练

YOLOv3使用在Imagenet上预训练好的模型参数（文件名称： darknet53.conv.74，大小76MB）基础上继续训练。

所以先把他下载下来：

cd darknet
wget https://pjreddie.com/media/files/darknet53.conv.74

之后开始训练：

./darknet detector train cfg/voc.data cfg/yolov3-tiny.cfg

训练完成后结果文件 ‘yolov3-voc_final.weights’ 保存在 backup文件中。当用新的数据集训练时，在训练命令后加上之前训练好的权重的文件路径即可

【说明】：

Region Avg IOU: 0.326577：表示在当前subdivision内的图片的平均IOU，代表预测的矩形框和真实目标的交集与并集之比。越大越好

Class: 0.742537：标注物体分类的正确率，期望该值趋近于1。

Obj: 0.033966：越接近1越好。

No Obj: 0.000793：期望该值越来越小，但不为零。

Avg Recall: 0.12500：是在recall/count中定义的，是当前模型在所有subdivision图片中检测出的正样本与实际的正样本的比值。在本例中，只有八分之一的正样本被正确的检测到。

count: 8：count后的值是所有的当前subdivision图片（本例中一共8张）中包含正样本的图片的数量。在输出log中的其他行中，可以看到其他subdivision也有的只含有6或7个正样本，说明在subdivision中含有不含检测对象的图片。
如果出现很多Nan,表示训练不收敛，可以增大banch,或者调小subdivisions。

八.测试

./darknet detector test cfg/voc.data cfg/yolov3-tiny.cfg backup/yolov3-voc_final.weights xxx.jpg

xxx是自己随便的一张图片名。

【说明】：此文章参考了未雨愁眸的博客,全文点击：http://www.cnblogs.com/mtcnn/p/9411674.html。

我的大名王二狗

关注

0
点赞
踩
54

收藏

觉得还不错? 一键收藏
15
评论
【Robomaster-ICRA-AI挑战赛跳坑篇】（三、YOLOv3-tiny实现装甲板识别）

流程简介：1.准备照片，分训练集和验证集两类。2.使用labelimg工具，将目标圈出来，贴好标签，生成XML文件。3.借助createID.py生成训练集和验证集的图片名称列表trainImageId.txt和validateImageId.txt。4.借助trans.py生成训练集和验证集的完整路径列表并完成标签xml文件到txt文件的转换。5.修改配置文件，开始训练。...
复制链接

扫一扫