目标检测算法回顾之评价指标与数据集

说明：本文仅供学习

评价指标概述

前面说IOU与目标检测评价息息相关，主要是因为目标检测在进行评价比较时会说明对应的IOU阈值。那目前大家一般采用的评价指标有哪些呢？同样，从目标检测的两个要求来看（精度和效率），一般精度大家都会计算各种IOU阈值下的mAP值和F1分数等。mAP的计算依赖于TP,FP,TN,FN等的计算，也就是依赖Precision和Recall来计算的。因为大家或多或少都会接触过Pr和Re的计算，这里我就不详细说明了。但mAP我在下一页中会详细的介绍。而效率大家一般都会比较FPS和参数量。FPS就是指每秒处理的图片数量或者处理每张图片所需的时间。当然，一般论文在这里都必须指明是在什么样的硬件条件下进行实验比较的。

AP与mAP

• AP是指PR曲线下（调整置信度阈值变化，得到不同置信度阈值下Re与Pr之间的关系）的面积，是判断改类别分类器表现性能好坏的标准。其表现了分类器在Pr与Re之间的权衡，当AP值较高时，也就相当于PR曲线向右上方拟合，也就是说明让Recall值增长的同时保持Precision的值也在一个很高的水平。
• mAP值是AP的均值，代表的是整个检测模型的表现性能。

数据集

常见数据集

从应用的角度出发，模型的设计与数据息息相关的。有关目标检测公开的数据集也有很多，比如最初的MNIST、ImageNet等数据集。这些数据集的大小、数量及主要面临的挑战都大不相同。

两大主流数据集

虽然公开的数据集跟多，但最为流行的经典数据集是COCO和PASCAL VOC。这两个数据集是一般做目标检测通用任务或backbone必须要比较的数据集。

两大标注软件

为便于COCO和PASCAL VOC数据集的采集制作，目标检测领域有两款比较常用的数据集标注工具labelme和labelImg。这两大标注工具都有对应的python包，所生成的数据格式为常见的三种数据集格式VOC格式，COCO格式和YOLO格式。

三种常用的标签格式

这三种数据格式的区别主要在于标签文件类型和bbox格式。VOC采用的是图像文件与xml标签文件，而COCO采用的是json格式，YOLO采用的是txt文本格式。如果大家有接触过一点前端的知识或者有接触过目标检测，应该是知道这三种标签文件的优劣势所在。【个人看法：json格式可以很好的将各种数据集成到一个文件中去，具有占用空间小，检索迅速的优势。而txt文本格式则具有简单易处理的有点。xml格式介于两者之间吧】

这里为什么讲数据格式，是为了方便大家快速的了解目前经典开源框架大多会采用什么样的数据书写模式，以便于大家在探索目标检测领域时能够快速的利用目前现有的代码资源。但不管是什么样的数据格式，最主要的数据导入完全解决于自己习惯的代码书写。