目标检测数据集
典型的数据集有:PASCAL VOC, ILSVRC, MS-COCO, Open Images.
PASCAL Visual Object Classes (VOC) Challenges (2005-2012), 经典的计算机视觉竞赛,任务包括图像分类、目标检测、语义分割和动作检测。20个种类。 VOC07和VOC12最为常用。近年来被更大的数据集像ILSVRC和MS-COCO逐渐取代。
ILSVRC:The ImageNet Large Scale Visual Recognition Challenge (2010-2017). 200个种类。
MS-COCO:(2015至今),最大的特点是除了bounding box 注释,还给了segmentation。MS-COCO也包含更多的小目标(面积小于图像大小的百分之一)和稠密的目标。这些特征使得MS-COCO更接近于现实生活。MS-COCO已经成了目标检测家族中的实际标准。
Open Image: 2018年 the Open Images Detection challenge出现。两个任务:1常规n目标检测。2视觉关系检测,即检测特殊关系中成对的目标。600个种类。
![6133296bc7014435e5191759574c2325.png](https://i-blog.csdnimg.cn/blog_migrate/d847943a31501bfd77135229e54f14f0.jpeg)
![f8e8d35aefce41ec92c2466281473647.png](https://i-blog.csdnimg.cn/blog_migrate/4330e202bb67bf1ddb331133f897b9c7.jpeg)
度量标准
早期并无统一的度量标准。过去行人检测会用FPPW(miss rate vs. false positives per-window) 作为标准,后来变更为FPPI(per-window变成per-image)
最近几年最常用的是average precision(AP),最初在VOC2007中提出。AP的定义是不同recall下的平均检测精度,经常被用在指定类别方式。the mean AP (mAP) 将所有目标种类的精度做平均,通常被用于度量最终表现。测量目标的定位精度则是检查预测框和ground truth 之间的IoU(the Intersection over Union)是不是大于某个阈值,比如说0.5。如果大于,则目标被认为是成功检测到,否则是漏检。IoU阈值为0.5的mAP已成为目标检测问题事实上的标准好几年了。
2014年后,由于MS-COCO大火,学者们将注意力更多地转向定位精度。MS-COCO AP 是0.5到0.95之间的不同IoU阈值下的精度均值。这一改变更加鼓励精确的目标定位,可能对现实生活中的应用更有好处,比如说机器人去抓扳手。
最近还有一些别的Open Images上的评估,比如说成群的框和非穷举的图像级类别层次结构。有一些学者提出了其他的度量标准,比如定位召回精度(localization recall precision)。
不过VOC/COCO-based mAP 还是最常用的度量标准。
Zou, Z., Shi, Z., Guo, Y., & Ye, J. (2019). Object Detection in 20 Years: A Survey. arXiv preprint arXiv:1905.05055.