PASCAL VOC挑战赛 (The PASCAL Visual Object Classes )是一个世界级的计算机视觉挑战赛,PASCAL全称:Pattern Analysis,Statical Modeling and Computational Learning,是一个由欧盟资助的网络组织。
很多优秀的计算机视觉模型比如分类,定位,检测,分割,动作识别等模型都是基于PASCAL VOC挑战赛及其数据集上推出的,尤其是一些目标检测模型(比如大名鼎鼎的R-CNN系列,以及后面的YOLO,SSD等)。
PASCAL VOC从2005年开始举办挑战赛,每年的内容都有所不同,从最开始的分类,到后面逐渐增加检测,分割,人体布局,动作识别(Object Classification 、Object Detection、Object Segmentation、Human Layout、Action Classification)等内容,数据集的容量以及种类也在不断的增加和改善。该项挑战赛催生出了一大批优秀的计算机视觉模型(尤其是以深度学习技术为主的)。
我们知道在 ImageNet挑战赛上涌现了一大批优秀的分类模型,而PASCAL挑战赛上则是涌现了一大批优秀的目标检测和分割模型,这项挑战赛已于2012年停止举办了,但是研究者仍然可以在其服务器上提交预测结果以评估模型的性能。
虽然近期的目标检测或分割模型更倾向于使用MS COCO数据集,但是这丝毫不影响 PASCAL VOC数据集的重要性,毕竟PASCAL对于目标检测或分割类型来说属于先驱者的地位。对于现在的研究者来说比较重要的两个年份的数据集是 PASCAL VOC 2007 与 PASCAL VOC 2012,这两个数据集频频在现在的一些检测或分割类的论文当中出现。本文也是以PASCAL VOC 2007 和 2012 为例简要介绍VOC数据集的结构。
一、数据集整体概况
1、层级结构
PASCAL VOC 数据集的20个类别及其层级结构:
●从2007年开始,PASCAL VOC每年的数据集都是这个层级结构;
●总共四个大类:vehicle,household,animal,person;
●总共20个小类,预测的时候是只输出图中黑色粗体的类别;
●数据集主要关注分类和检测,也就是分类和检测用到的数据集相对规模较大。关于其他任务比如分割,动作识别等,其数据集一般是分类和检测数据集的子集。
2、发展历程与使用方法
简要提一下在几个关键时间点数据集的一些关键变化,详细的请查看PASCAL VOC主页:
●2005年:还只有4个类别:bicycles, cars, motorbikes, people. Train/validation/test共有图片1578 张,包含2209 个已标注的目标objects;
●2007年:在这一年PASCAL VOC初步建立成一个完善的数据集。类别扩充到20类,Train/validation/test共有9963张图片,包含24640 个已标注的目标objects;(07年之前的数据集中test部分都是公布的,但是之后的都没有公布)
●2009年:从这一年开始,通过在前一年的数据集基础上增加新数据的方式来扩充数据集。比如09年的数据集是包含了08年的数据集的,也就是说08年的数据集是09年的一个子集,以后每年都是这样的扩充方式,直到2012年;09年之前虽然每年的数据集都在变大(08年比07年略少),但是每年的数据集都是不一样的,也就是说每年的数据集都是互斥的,没有重叠的图片;
●2012年:从09年到11年,数据量仍然通过上述方式不断增长,11年到12年,用于分类、检测和person layout 任务的数据量没有改变。主要是针对分割和动作识别,完善相应的数据子集以及标注信息。
对于分类和检测来说,也就是下图所示的发展历程,相同颜色的代表相同的数据集:
分割任务的数据集变化略有不同:
●VOC 2012用于分类和检测的数据包含 2008-2011年间的所有数据,并与VOC2007互斥;
●VOC 2012用于分割的数据中train+val包含 2007-2011年间的所有数据,test包含2008-2011年间的数据,没有包含07年的是因为07年的test数据已经公开了。
2012年是最后一次挑战赛,最终用于分类和检测的数据集规模为:train/val ÿ