【目标检测适用】Pascal Voc（07+12）联合训练并在07上测试

最新推荐文章于 2024-04-30 19:24:04 发布

leSerein_

最新推荐文章于 2024-04-30 19:24:04 发布

阅读量5.7k

点赞数 7

文章标签： python 目标检测计算机视觉深度学习

本文链接：https://blog.csdn.net/a_piece_of_ppx/article/details/118701340

版权

跑过很多模型，每次用Pascal Voc的组织方式都不同，但是一般都是用Pascal Voc2007+2012做训练，在Pascal Voc2007上做测试，记录如下：

1. 概览

对于分类/检测任务而言，完成07 + 12数据集合并后，共得到如下数据：

训练数据：16551张图像，共40058个目标
测试数据：4952张图像，共12032个目标

其中VOC 2007的训练集提供了

训练数据：2501张图像，共6301个目标
验证数据：2510张图像，共6307个目标
训练+验证数据：5011张图像，共12608个目标

VOC 2012的训练集提供了

训练数据：5717张图像，共13609个目标
验证数据：5823张图像，共13841个目标
训练+验证数据：11540张图像，共27450个目标

VOC 2007的测试集提供了

测试数据：4952张图像，共12032个目标

2. 第一种组织方式

我把VOC_ROOT设置为/data/data_hx/new-YOLO-PyTorch/data/VOCdevkit/，下面有VOC2007和VOC2012两个文件夹
在这里插入图片描述
这两个文件夹的内容怎么来的呢？

从官网下载四个压缩包，解压三个，其中VOC2012test我们是用不着的。

对VOCtrainval_11-May-2012，直接重命名为VOC2012
对VOCtrainval_06-Nov-2007和VOCtest_06-Nov-2007，两个内容合并后重命名为VOC2007.（组织方式下面给出）

├── VOCtest_06-Nov-2007
│   └── VOCdevkit
│       └── VOC2007
│           ├── Annotations
│           ├── ImageSets
│           ├── JPEGImages
│           ├── SegmentationClass（检测不用）
│           └── SegmentationObject（检测不用）
├── VOCtest_06-Nov-2007.tar
├── VOCtrainval_06-Nov-2007
│   └── VOCdevkit
│       └── VOC2007
│           ├── Annotations
│           ├── ImageSets
│           ├── JPEGImages
│           ├── SegmentationClass（检测不用）
│           └── SegmentationObject（检测不用）

做好上述工作后按以下方式加载VOC数据集：

先给出VOCDetection函数，默认的image_sets是07和12年的trainval

class VOCDetection(data.Dataset):
    """VOC Detection Dataset Object

    input is image, target is annotation

    Arguments:
        root (string): filepath to VOCdevkit folder.
        image_set (string): imageset to use (eg. 'train', 'val', 'test')
        transform (callable, optional): transformation to perform on the
            input image
        target_transform (callable, optional): transformation to perform on the
            target `annotation`
            (eg: take in caption string, return tensor of word indices)
        dataset_name (string, optional): which dataset to load
            (default: 'VOC2007')
    """

    def __init__(self, root, img_size,
                 image_sets=[('2007', 'trainval'), ('2012', 'trainval')],
                 transform=None, target_transform=VOCAnnotationTransform(),
                 dataset_name='VOC0712', mosaic=False):
        self.root = root
        self.img_size = img_size
        self.image_set = image_sets
        self.transform = transform
        self.target_transform = target_transform
        self.name = dataset_name
        self._annopath = osp.join('%s', 'Annotations', '%s.xml')
        self._imgpath = osp.join('%s', 'JPEGImages', '%s.jpg')
        self.ids = list()
        self.mosaic = mosaic
        for (year, name) in image_sets:
            rootpath = osp.join(self.root, 'VOC' + year)
            for line in open(osp.join(rootpath, 'ImageSets', 'Main', name + '.txt')):
                self.ids.append((rootpath, line.strip()))

训练时按如下方式加载：

    if args.dataset == 'voc':
        data_dir = VOC_ROOT #VOC2007和VOC2012所在的根目录
        num_classes = 20
        dataset = VOCDetection(root=data_dir, 
                                img_size=train_size[0],
                                transform=SSDAugmentation(train_size)
                                ) #这里是训练加载

        evaluator = VOCAPIEvaluator(data_root=data_dir,
                                    img_size=val_size,
                                    device=device,
                                    transform=BaseTransform(val_size),
                                    labelmap=VOC_CLASSES
                                    )

测试的时候按如下方式加载：

dataset = VOCDetection(root=VOC_ROOT, img_size=input_size[0], image_sets=[('2007', 'test')], transform=None)

dataset加载之后就是dataloader或者其他取图片的操作了，不同模型处理方式也不一样，这个都有不细说。

这种方式下，训练用的样本是trainval，训练中的评估用的是test

3. 第二种组织方式

在YOLOV3中，默认进行COCO数据集的评估。如果想对Pascal VOC进行验证，则按以下方式进行。

首先在yolov3/data/建立JPEGImages、ImageSets、Annotations三个文件夹。然后把VOCtrainval_11-May-2012、VOCtrainval_06-Nov-2007和VOCtest_06-Nov-2007三个文件夹内容都整合到一块儿。

JPEGImages改名为images
在这里插入图片描述
最后统计结果是
JPEGImages和Annotations下各有（17125+5011+4952=27088）

ImageSets中新建train.txt，内容是VOCtrainval_11-May-2012、VOCtrainval_06-Nov-2007文件夹里trainval.txt的合并，最后有11540+5011=16551项

ImageSets中新建test.txt，内容是VOCtest_06-Nov-2007里test.txt，最后由4952项

在yolov3目录下建立voc_label.py文件，使用python voc_label.py执行。

import xml.etree.ElementTree as ET
import pickle
import os
from os import listdir, getcwd
from os.path import join

sets = ['train', 'test']

classes = ["aeroplane", "bicycle", "bird", "boat", "bottle", "bus", "car", "cat", "chair", "cow", "diningtable", "dog", "horse", "motorbike", "person", "pottedplant", "sheep", "sofa", "train", "tvmonitor"]


def convert(size, box):
    dw = 1. / size[0]
    dh = 1. / size[1]
    x = (box[0] + box[1]) / 2.0
    y = (box[2] + box[3]) / 2.0
    w = box[1] - box[0]
    h = box[3] - box[2]
    x = x * dw
    w = w * dw
    y = y * dh
    h = h * dh
    return (x, y, w, h)


def convert_annotation(image_id):
    in_file = open('data/Annotations/%s.xml' % (image_id))
    out_file = open('data/labels/%s.txt' % (image_id), 'w')
    tree = ET.parse(in_file)
    root = tree.getroot()
    size = root.find('size')
    w = int(size.find('width').text)
    h = int(size.find('height').text)

    for obj in root.iter('object'):
        difficult = obj.find('difficult').text
        cls = obj.find('name').text
        if cls not in classes or int(difficult) == 1:
            continue
        cls_id = classes.index(cls)
        xmlbox = obj.find('bndbox')
        b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text),
             float(xmlbox.find('ymax').text))
        bb = convert((w, h), b)
        out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '\n')


wd = getcwd()
print(wd)
for image_set in sets:
    if not os.path.exists('data/labels/'):
        os.makedirs('data/labels/')
    image_ids = open('data/ImageSets/%s.txt' % (image_set)).read().strip().split()
    list_file = open('data/%s.txt' % (image_set), 'w')
    for image_id in image_ids:
        list_file.write('data/images/%s.jpg\n' % (image_id))
        convert_annotation(image_id)
    list_file.close()

在data目录下新建voc.data，内容如下

classes=20
train=data/train.txt
valid=data/test.txt
names=data/voc.names
backup=backup/
eval=coco

在data目录下新建voc.names，内容如下

aeroplane
bicycle
bird
boat
bottle
bus
car
cat
chair
cow
diningtable
dog
horse
motorbike
person
pottedplant
sheep
sofa
train
tvmonitor

按上述方式便可以成功组织数据集，之后运行train.py文件即可。

需注意环境会对训练过程带来影响

参考：
https://blog.zhujian.life/posts/5a56cd45.html

leSerein_

关注

7
点赞
踩
41

收藏

觉得还不错? 一键收藏
28
评论
【目标检测适用】Pascal Voc（07+12）联合训练并在07上测试

用Pascal Voc2007+2012做训练，在Pascal Voc2007上做测试
复制链接

扫一扫