建立自己的voc数据集_制作自己的pascal voc数据集

最近跑faster rcnn需要训练自己的数据集，那么首先要跑通一个faster rcnn模型，比如先跑通公共数据集，证明模型是没问题的。第二步就是要自己制作数据集用于训练和测试。制作自己的目标检测数据集有两种方法，第一种是自己写，第二种是把自己的数据集改成和公共数据集一样的结构。当然第二种方法更简单。会了第二种方法，再自己重头开始写数据集的时候就不会那么难受。

系统ubuntu16。假设开始之前你已经有了一个可以跑通的faster rcnn模型，需要用自己的数据集进行训练。

除去语义分割的部分，主要用到VOC2007文件夹下的Annotations文件夹、ImageSets文件件、JPEGImages文件夹。用到的目标检测voc格式大致如下：

PASCAL_VOC07

└──VOCdevkit

├ local

├ results

├ VOC2007

│ ├── Annotations

│ ├── ImageSets

│ │ └── Main

│ └── JPEGImages

└ VOCcode

Annotations文件夹存放的是xml文件，它们是一些标注信息。比如VOC数据集中000001图片的标注信息在中，中间存放的文件名，图片的长、宽、通道存放在中，0表示这张图片不用来做语义分割，每一个表示一个物体，其中表示物体名称，是拍摄角度，1表示物体被截断，0表示检测难度为简单。<>>

VOC2007

000001.jpg

The VOC2007 Database

PASCAL VOC2007

flickr

341012865

Fried Camels

Jinky the Fruit Bat

353

500

3

0

dog

Left

1

0

48

240

195

371

person

Left

1

0

8

12

352

498

最简单办法就是把自己的数据集格式改成voc的格式，最重要的，也是需要改的地方主要是、以及中的和。这些修改可以使用标注工具label me完成。label me可以选择保存为voc的xml格式。

ImageSets文件夹中只使用到Main文件夹。Main文件夹中包含一些txt文件，这些txt以A_test、A_train、A_trainval命名。表示test/train/trainval有哪些图片，test/train/trainval的图片是否有A类。比如在A_test.txt中，000001 -1表示000001 图片属于test，-1表示000001 图片中没有A类。

000001 -1

000002 -1

000003 -1

......

可以写个python小程序把已有的xml信息做成符合A_test.txt、A_train.txt、A_trainval.txt、B_test.txt、B_train.txt、B_trainval.txt的格式。假设已经制作好了voc格式的标注信息，并且放在path下，简单假设只有A、B、C3个类。首先把它们存到不同的list中。

import os

import xml.etree.cElementTree as ET

A , B , C = [] ,[] , []

for file in os.listdir(path):

tree = ET.parse(os.path.join(path , file))

root = tree.getroot()

for obj in root.findall('object'):

name = obj.find('name').text

if name == 'A':

file = root.find('path').text

file = file.split("\\")

file = file[-1][:-4]

A.append(file)

elif name == 'B':

file = root.find('path').text

file = file.split("\\")

file = file[-1][:-4]

B.append(file)

elif name == 'C':

file = root.find('path').text

file = file.split("\\")

file = file[-1][:-4]

C.append(file)

剩下的是随机将数据集分成train和test，还有一些txt的操作，这些操作和你的数据集有关，代码需要根据自己的数据集来写。上面完成了A_test.txt、A_train.txt、A_trainval.txt的制作。

JPEGImages文件夹中存放的都是图片文件，没什么好说的，把自己的图片放在JPEGImages文件夹中就行。

现在你的voc数据集就制作完成了。

制作完数据集还需要相应的修改代码。如果你的数据集少，没有办法分成train、val、test三部分，可以只分成train和test两部分，factory.py中有一段代码

# Set up voc__

for year in ['2007', '2012']:

for split in ['train', 'val', 'trainval', 'test']:

name = 'voc_{}_{}'.format(year, split)

__sets[name] = (lambda split=split, year=year: pascal_voc(split, year))

pascal_voc(split, year)生成了pascal_voc子类，在pascal_voc.py文件中根据实际情况需要修改pascal_voc构造函数的路径以及类别。

class pascal_voc(imdb):

def __init__(self, image_set, year, devkit_path=None):

imdb.__init__(self, 'voc_' + year + '_' + image_set)

self._year = year

self._image_set = image_set

self._devkit_path = self._get_default_path() if devkit_path is None else devkit_path

self._data_path = os.path.join(self._devkit_path, 'VOC' + self._year)

self._classes = ('__background__', # always index 0

'aeroplane', 'bicycle', 'bird', 'boat',

'bottle', 'bus', 'car', 'cat', 'chair',

'cow', 'diningtable', 'dog', 'horse',

'motorbike', 'person', 'pottedplant',

'sheep', 'sofa', 'train', 'tvmonitor')

#balabala....

pascalvoc('train', '2007')表示生成pascal voc2007格式的训练数据集，pascalvoc('test', '2007')表示生成pascal voc2007格式的测试数据集。同时，如果你的数据集只有训练和测试集，ImageSets/Main中的txt文件就不再是一个类有3个txt，而是只有A_train.txt和A_test.txt。所以制作txt的代码也需要修改。

上面基本是跑通自己的目标检测数据集需要修改的地方，如果已经有一个跑通了的目标检测网络，就可以开始训练自己的数据集了。

下面记录一下关于数据集代码的调用关系，实在是太复杂了。

从开始的imdb, roidb, ratio_list, ratio_index = combined_roidb(imdb_name)

在get_roidb函数中，首先用到datasets/factory.py的get_imdb函数，get_imdb函数返回相应的pascalvoc('xxx', 'yyyy')的pascalvoc类(imdb基类)。接着get_training_roidb函数从image database获得roi database

然后filter_roidb函数去除没有bounding box的图片，接着rank_roidb_ratio函数按照roi的长宽比排序。

所以返回的imdb, roidb, ratio_list, ratio_index表示image database、roi database、长宽比、长宽比索引。

之后就是写一个torch.utils.data.Dataset子类，将roi database包装成pytorch的Dataset的抽象类。还要写个torch.utils.data.sampler.Sampler基础采样器的子类，控制数据集的采样方式，注意的是如果数据集大小不能被batch_size整除的时候，余下部分的处理。最后，有了上面两个子类，就可以使用torch.utils.data.DataLoader加载数据了。总结就是重写了classtorch.utils.data.DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, num_workers=0,......)的dataset和sampler。

剩下的就是送入网络训练。