目标检测的数据集制作一般流程（Pascal VOC标准格式）

了解Pascal VOC

利用深度学习方法如Faster R-CNN或YOLOv3等进行目标检测时需要训练数据集，我们很少会根据自己的数据集格式修改代码，更多的是按照一定格式修改自己的数据格式，而PASCAL VOC为图像识别和分类提供了一整套标准化的数据集，为了方便我们目标检测的进行，可以先来详细的记录一下PASCAL VOC的格式。
Pascal VOC数据集下载地址：http://host.robots.ox.ac.uk/pascal/VOC/

数据集下载后解压得到一个名为VOCdevkit的文件夹，该文件夹结构如下：

.
└── VOCdevkit     #根目录
    └── VOC2017   #不同年份的数据集，这里只下载了2007的，还有2007等其它年份的
        ├── Annotations        #存放xml文件，与JPEGImages中的图片一一对应，解释图片的内容等等
        ├── ImageSets          #该目录下存放的都是txt文件，txt文件中每一行包含一个图片的名称，末尾会加上±1表示正负样本
        │   ├── Action
        │   ├── Layout
        │   ├── Main
        │   └── Segmentation
        ├── JPEGImages         #存放源图片
        ├── SegmentationClass  #存放的是图片，语义分割相关
        └── SegmentationObject #存放的是图片，实例分割相关

（1）Annotations

Annotations文件夹中存放的是xml格式的标签文件，每一个xml文件都对应于JPEGImages文件夹中的一张图片，包含了图片的重要信息：图片的名称，图片中object的类别及其bounding box坐标。xml文件的解析如下：
其中：

标签	解释
filename	文件名
source	图像来源（不重要）
size	图像尺寸（长宽以及通道），包含了width，height和depth
segmented	是否用于分割
object	需检测到的物体，包含了物体名称name，拍摄角度pose，是否截断truncated，难以识别difficult，object对应的bounding box信息 bndbox
bndbox	包含左下角和右上角x，y坐标 （xmin，ymin，xmax，ymax）

<annotation>
	<folder>VOC2007</folder>
	<filename>000051.jpg</filename>
	<source>
		<database>The VOC2007 Database</database>
		<annotation>PASCAL VOC2007</annotation>
		<image>flickr</image>
		<flickrid>291539949</flickrid>
	</source>
	<owner>
		<flickrid>kristian_svensson</flickrid>
		<name>Kristian Svensson</name>
	</owner>
	<size>
		<width>500</width>
		<height>375</height>
		<depth>3</depth>
	</size>
	<segmented>0</segmented>
	<object>
		<name>motorbike</name>
		<pose>Unspecified</pose>
		<truncated>1</truncated>
		<difficult>0</difficult>
		<bndbox>
			<xmin>352</xmin>
			<ymin>138</ymin>
			<xmax>500</xmax>
			<ymax>375</ymax>
		</bndbox>
	</object>
	<object>
		<name>motorbike</name>
		<pose>Unspecified</pose>
		<truncated>0</truncated>
		<difficult>0</difficult>
		<bndbox>
			<xmin>105</xmin>
			<ymin>1</ymin>
			<xmax>427</xmax>
			<ymax>245</ymax>
		</bndbox>
	</object>
	<object>
		<name>person</name>
		<pose>Unspecified</pose>
		<truncated>0</truncated>
		<difficult>1</difficult>
		<bndbox>
			<xmin>415</xmin>
			<ymin>61</ymin>
			<xmax>465</xmax>
			<ymax>195</ymax>
		</bndbox>
	</object>
</annotation>

以下程序可以将XML标签中目标绘制在图像中，并返回：
具体步骤为：
1.用xml.etree.ElementTree库中的parse方法解析xml文件；
2.获取xml文件的根节点
3.寻找object节点用find() 和findall()， .text表示获取节点中的内容
4.cv2绘图，rectangle画框，putTEXT标注类别

# -*- coding: utf-8 -*-
import xml.etree.ElementTree as ET  
import os,cv2
 
xml_file='Annotations/000282.xml'
tree=ET.parse(xml_file)
root=tree.getroot()
imgfile='JPEGImages/000282.jpg'
im = cv2.imread(imgfile)
for object in root.findall('object'):
    object_name=object.find('name').text
    Xmin=int(object.find('bndbox').find('xmin').text)
    Ymin=int(object.find('bndbox').find('ymin').text)
    Xmax=int(object.find('bndbox').find('xmax').text)
    Ymax=int(object.find('bndbox').find('ymax').text)
    color = (4, 250, 7)
    cv2.rectangle(im,(Xmin,Ymin),(Xmax,Ymax),color,2)
    font = cv2.FONT_HERSHEY_SIMPLEX  
    cv2.putText(im, object_name, (Xmin,Ymin - 7), font, 0.5, (6, 230, 230), 2)
    cv2.imshow('01',im)
#cv2.imwrite('02.jpg', im)

JPEGImages

存放的是数据集的原图片，像素尺寸大小不一

ImageSets

ImageSets存放的是每一种计算机视觉任务类型所对应的文件夹，各个文件夹均存放txt格式文件，txt中记录图片名：

文件夹	数据信息
Layout	具有人体部位的数据
Main	一般存放图像物体识别的数据
Segmentation	用于语义，实例分割的数据

目标检测主要用到Main文件夹中的txt文件（训练自己的数据时，我们需要自己生成）：

Main中的txt文件	用途
train	训练使用的图片名称（无后缀）
val	验证使用的图片名称（无后缀）
trainval	以上两者的合并
test	测试使用的图片名称（无后缀）

以下代码可以通过统计Annotations文件夹里xml文件的数目划分各类数据集

import os
import random

path='D:/VOCtrainval_06-Nov-2007/yoloV3conf\keras-yolo3-master/VOCdevkit/VOC2007/'

trainval_percent = 0.66
train_percent = 0.5

xmlfilepath = path+'Annotations'
txtsavepath = path+'ImageSets/Main'
total_xml = os.listdir(xmlfilepath)
 
num=len(total_xml)
list=range(num)
tv=int(num*trainval_percent)
tr=int(tv*train_percent)
trainval= random.sample(list,tv)
train=random.sample(trainval,tr)
 
ftrainval = open(path+'ImageSets/Main/trainval.txt', 'w')
ftest = open(path+'ImageSets/Main/test.txt', 'w')
ftrain = open(path+'ImageSets/Main/train.txt', 'w')
fval = open(path+'ImageSets/Main/val.txt', 'w')
 
for i  in list:
    name=total_xml[i][:-4]+'\n'
    if i in trainval:
        ftrainval.write(name)
        if i in train:
            ftrain.write(name)
        else:
            fval.write(name)
    else:
        ftest.write(name)
 
ftrainval.close()
ftrain.close()
fval.close()
ftest .close()

1.安装标注工具

数据标注工具labelImg，可以通过可视化的操作界面进行画框标注，就能自动生成VOC格式的xml文件，该工具是基于Python语言编写的，这样就支持在Windows、Linux的跨平台运行，Windows和Linux下载地址为：https://tzutalin.github.io/labelImg/

2.创建文件夹

按照VOC数据集的要求，创建以下文件夹
（1）Annotations：用于存放标注后的xml文件
（2）ImageSets/Main：用于存放训练集、测试集、验收集的文件列表
（3）JPEGImages：用于存放原始图像

3.标注数据

将源图片集放在JPEGImages文件夹里面，注意图片的格式必须是jpg格式的。
打开labelImg标注工具，然后点击左侧的工具栏“Open Dir”按钮，选择刚才放猫的JPEGImages文件夹。这时，主界面将会自动加载第一张猫照片。

点击左侧工具栏的“Create RectBox”按钮，然后在主界面上点击拉个矩形框，将猫圈出来。圈定后，将会弹出一个对话框，用于输入标注物体的类别，这里输入cat作为object类别。

然后点击左侧工具栏的“Save”按钮，选择刚才创建的Annotations作为保存目录，系统将自动生成VOC2007格式的xml文件保存起来。这样就完成了一张猫照片的物体标注了。

接下来点击左侧工具栏的“Next Image”进入下一张图像，按照以上步骤，画框、输入名称、保存，如此反复，直到把所有照片都标注好，保存起来。

这样就完成了数据集的准备