pascal voc数据集_目标检测20年（3）-目标检测数据集和度量标准

目标检测数据集

典型的数据集有：PASCAL VOC, ILSVRC, MS-COCO, Open Images.

PASCAL Visual Object Classes (VOC) Challenges (2005-2012), 经典的计算机视觉竞赛，任务包括图像分类、目标检测、语义分割和动作检测。20个种类。 VOC07和VOC12最为常用。近年来被更大的数据集像ILSVRC和MS-COCO逐渐取代。

ILSVRC：The ImageNet Large Scale Visual Recognition Challenge (2010-2017). 200个种类。

MS-COCO：(2015至今），最大的特点是除了bounding box 注释，还给了segmentation。MS-COCO也包含更多的小目标（面积小于图像大小的百分之一）和稠密的目标。这些特征使得MS-COCO更接近于现实生活。MS-COCO已经成了目标检测家族中的实际标准。

Open Image: 2018年 the Open Images Detection challenge出现。两个任务：1常规n目标检测。2视觉关系检测，即检测特殊关系中成对的目标。600个种类。

(a) PASCAL-VOC07, (b) ILSVRC, (c) MS-COCO, and (d) Open Images.

知名的目标检测数据集和它们的数据量

度量标准

早期并无统一的度量标准。过去行人检测会用FPPW（miss rate vs. false positives per-window) 作为标准，后来变更为FPPI（per-window变成per-image)

最近几年最常用的是average precision（AP)，最初在VOC2007中提出。AP的定义是不同recall下的平均检测精度，经常被用在指定类别方式。the mean AP (mAP) 将所有目标种类的精度做平均，通常被用于度量最终表现。测量目标的定位精度则是检查预测框和ground truth 之间的IoU（the Intersection over Union)是不是大于某个阈值，比如说0.5。如果大于，则目标被认为是成功检测到，否则是漏检。IoU阈值为0.5的mAP已成为目标检测问题事实上的标准好几年了。

2014年后，由于MS-COCO大火，学者们将注意力更多地转向定位精度。MS-COCO AP 是0.5到0.95之间的不同IoU阈值下的精度均值。这一改变更加鼓励精确的目标定位，可能对现实生活中的应用更有好处，比如说机器人去抓扳手。

最近还有一些别的Open Images上的评估，比如说成群的框和非穷举的图像级类别层次结构。有一些学者提出了其他的度量标准，比如定位召回精度（localization recall precision）。

不过VOC/COCO-based mAP 还是最常用的度量标准。

Zou, Z., Shi, Z., Guo, Y., & Ye, J. (2019). Object Detection in 20 Years: A Survey. arXiv preprint arXiv:1905.05055.