YoloV3 darknet 系列|VOC数据集的制作

YoloV3 darknet 系列 | VOC数据集的制作

系列简介

最近使用darknet下的YoloV3框架实现自己的项目，所以对yoloV3有了一定的了解，在使用过程中查了许多博客、踩了许多坑，所以希望写一个系列来介绍自己使用yoloV3的流程。本人是在ubuntu16.04下完成yoloV3在darknet下的训练以及测试。
系列目前准备包括三个部分：

1. VOC数据集的制作
2. 如何使用yoloV3训练自己的数据集
3. yoloV3批量测试以及将识别的目标切割保存

数据集文件创建

本人以VOC2007创建为例：
首先创建：VOCdevkit
再在VOCdevkit目录下创建：VOC2007
之后在VOC2007目录下创建四个文件夹分别命名为：Annotations、ImageSets、JPEGImages、labels
以上四个文件夹的作用分别为：Annotations用于存放使用labelImg生成的标记（XML）文件，JPEGImages中存放对应的图片（jpg）文件，labels中存放XML文件中类别标记和归一话的矩形框坐标。
在ImageSets目录下创建Main，并在Mian目录下创建：test.txt、train.txt、trainval.txt、 val.txt四个文本文件，用来提取图片名作为训练集或测试集。
各级目录展示如下：
VOC2007目录

Main目录

JPEGImages目录

Annotations目录

相应文件的生成

在创建好以上文件目录后需要生成Main目录下的四个文本文件。
在VOC2007目录下创建get.py
使用一下python代码生成：

##get.py()##
#encoding=utf-8
import os  
import random   

xmlfilepath='/home/user/darknet/scripts/VOCdevkit/VOC2007/Annotations'  #改成自己的Annotations目录
saveBasePath='/home/user/darknet/scripts/VOCdevkit/VOC2007/ImageSets'	#改成自己的ImageSets目录用于寻找Main目录保存之前提到的四个txt文件
  
trainval_percent=0.7 
train_percent=0.7  
total_xml = os.listdir(xmlfilepath)  
num=len(total_xml)    
list=range(num)    
tv=int(num*trainval_percent)    
tr=int(tv*train_percent)    
trainval= random.sample(list,tv)    
train=random.sample(trainval,tr)    
  
print("train and val size",tv)  
print("traub suze",tr)  
ftrainval = open(os.path.join(saveBasePath,'Main/trainval.txt'), 'w')    
ftest = open(os.path.join(saveBasePath,'Main/test.txt'), 'w')    
ftrain = open(os.path.join(saveBasePath,'Main/train.txt'), 'w')    
fval = open(os.path.join(saveBasePath,'Main/val.txt'), 'w')    
  
for i  in list:    
    name=total_xml[i][:-4]+'\n'    
    if i in trainval:    
        ftrainval.write(name)    
        if i in train:    
            ftrain.write(name)    
        else:    
            fval.write(name)    
    else:    
        ftest.write(name)    
    
ftrainval.close()    
ftrain.close()    
fval.close()    
ftest .close() 

编写并修改好以上目录后：在VOC2007目录下右键->在终端打开并输入:

python get.py

相应的图片名就会被写入以上四个txt文件中。
之后将VOCdevkit文件夹放置在darknet目录下的scripts目录下，目录下默认有一个voc_label.py文件，该文件用于将Main目录下的txt的图片名的绝对路径保存到scripts目录下的train.txt、2007_train.txt 、2007_val.txt、 2007_test.txt、train.all.txt文件中来，同时将xml文件转换为labels文件夹中对应的txt文件，txt文件中存放的是每个标记的类别下标，以及归一化的标记矩形框的坐标。
在运行voc_label.py前有以下地方需要修改：

1. 将sets=[(‘2012’, ‘train’), (‘2012’, ‘val’),(‘2007’, ‘train’), (‘2007’, ‘val’), (‘2007’, ‘test’)]改为：sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]，因为我们这里只使用了2007数据集。
2. 将classes = [" "] 改为自己的类别名，作者这里只使用了一类标签所以改为：classes = ["insulator"]
3. 将os.system(“cat 2007_train.txt 2007_val.txt 2012_train.txt 2012_val.txt> train.txt”)改为：os.system("cat 2007_train.txt 2007_val.txt > train.txt")
4. 将os.system(“cat 2007_train.txt 2007_val.txt 2007_test.txt 2012_val.txt 2012_test.txt > train.all.txt”)改为：os.system("cat 2007_train.txt 2007_val.txt 2007_test.txt > train.all.txt")

作者最终的代码如下：

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

sets=[('2007', 'train'), ('2007', 'val'), ('2007', 'test')]

classes = ["insulator"]


def convert(size, box):
    dw = 1./(size[0])
    dh = 1./(size[1])
    x = (box[0] + box[1])/2.0 - 1
    y = (box[2] + box[3])/2.0 - 1
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x*dw
    w = w*dw
    y = y*dh
    h = h*dh
    return (x,y,w,h)

def convert_annotation(year, image_id):
    in_file = open('VOCdevkit/VOC%s/Annotations/%s.xml'%(year, image_id))
    out_file = open('VOCdevkit/VOC%s/labels/%s.txt'%(year, image_id), 'w')
    tree=ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult)==1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
        bb = convert((w,h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')

wd = getcwd()

for year, image_set in sets:
    if not os.path.exists('VOCdevkit/VOC%s/labels/'%(year)):
        os.makedirs('VOCdevkit/VOC%s/labels/'%(year))
    image_ids = open('VOCdevkit/VOC%s/ImageSets/Main/%s.txt'%(year, image_set)).read().strip().split()
    list_file = open('%s_%s.txt'%(year, image_set), 'w')
    for image_id in image_ids:
        list_file.write('%s/VOCdevkit/VOC%s/JPEGImages/%s.jpg\n'%(wd, year, image_id))
        convert_annotation(year, image_id)
    list_file.close()

os.system("cat 2007_train.txt 2007_val.txt  > train.txt")
os.system("cat 2007_train.txt 2007_val.txt 2007_test.txt > train.all.txt")

在scripts目录下右键->在终端打开并输入：python voc_label.py
之后在scripts目录下生成对应的文件，同时labels目录中生成了xml文件对应的txt文件。
scripts目录

labels目录下对应txt文件

至此一个用于darknet yoloV3训练的数据集便制作完成。部分由于制作数据集的原始数据已上传，下载链接为：无人机航拍瓷瓶数据集-yoloV3训练数据集.zip。关于labelImg的使用可以参考其他一些博客，后期也有可能会总结ubuntu和windows下安装labelImg的教程。由于本人水平有限，所以以上博客难免会有误差。后期也会总结使用该数据集进行训练的教程。
如有问题可联系：QQ:2458707789，加好友请注明：VOC数据集制作-姓名