【深度学习目标检测常用的评价指标以及coco数据集的评价指标】

文前白话

本文结合常用的目标检测数据集的格式，介绍目标检测数据集具体的评价指标，介绍coco数据集 的评价检测指标，以及在实际应用过程从哪些方面切入，选择更贴近于自己的数据集特点的评价指标。

目标检测的数据集类型

目标检测数据集有：

①、 PASCAL VOC数据集

PASCAL VOC数据集是目标检测的常用数据集（较早出现） , 包含两个主要版本：VOC 2007和VOC 2012，该数据集可以提供20个目标类别。

②、MS COCO数据集

MS COCO数据集是Microsoft赞助的一个多功能数据集，可用于目标检测、分割和场景理解。MS COCO数据集中的图像主要从复杂的日常场景中截取，包括30多万张影像和大约250万个目标标注，其中超过5000个标记的类别有82个，现在大多数使用coco数据集。

③、 Google Open lmage 数据集

Gogle Open Image是Google研究团队发布的数据集。最新发布的Opanlmagss v4包含190万张图像、600个种类、1540万个边界框标注，是目前最大的目标检测数据集。Googe品nae空的图像场景较为复杂，通常包含多个不同的目标，且标注质量非常高，是目标检测算法研究的理想数据集。

④、 ImageNet数据集

ImageNet数据集有1400多万张图像，涵盖2万多个类别。一般来说，ImageNet数据集主要用来作为目标分类数据集。但是其中有超过百万张图像有明确的类别和边界框标注，因此也可以将其作为目标检测数据集。

⑤、 DOTA数据集

DOTA 是航空遥感图像目标检测常用数据集，包含2806张航空影像，图像分辨率从800×800 到 4000×4000不等，包含15个类别共什188282个实例。标注方式为四点确定的具有方向的矩形。DOTA数据集为航空遥感数据集，与其他数据集相比，其特点是图像空间分辨率变化大，包含大量密集排布的较小尺寸目标等。

目标检测中的评价指标

在图像分类中，通常统计：
（验证集分类正确的个数 / 验证集的总样本数）= 准确率

在目标检测中，如何评价目标检测的正确性？

常用的目标检测评价指标主要分为两大类：

① 对算法分类能力的评价

对算法分类能力的评价：涉及精度、查准率、查全率、PR曲线、AP（Average-Precision）与 mAP（mean Average-Precision）。

错误率：错分样本的数量占样本总数的比例。

精度：分对样本的数量占样本总数的比例。

② 侧重于对目标定位精度的判定指标

侧重于对目标定位精度的判定，其中最常用的是交并比（Intersection over Union, IoU）。交并比计算的是算法 “预测区域” 和目标 “真实区域” 的交集面积和并集面积的比值。

交并比代表了目标检测中对于目标空间特征预测的准确程度，好的预测结果拥有较高的交并比。

其中，A表示算法的预测区域，B表示目标的真实区域， S表示求区域的面积。

交并比的示意图：

在理解交并比的基础上介绍其他的概念：

TP（True Positive）: IoU > 0.5 的检测框数量（同一Ground Truth只计算一次）

FP（False Positive）: IoU <= 0.5 的检测框 （或是检测到同一Ground Truth的的多余检测框的数量）

FN: (False Negative)：没有检测到的GT的数量

其中，绿色框为人工标注框；红色为预测框

查准率_Precision：
计算公式：
TP /（TP + FP）模型预测的所有目标中，预测正确的比例

查全率_Recall：
计算公式：
TP /（TP + FN） 所有真实目标中，模型预测正确的目标比例

AP：
AP就是PR曲线与坐标轴形成的面积，通常来说，分类器的性能越好，其AP值越高，具体定义为：
AP = ∫ p® dr ( 积分线为从0到1 )

PR曲线：
依据求得的Precision-Recall数据表绘制的相关曲线

mAP
mAP是多个类别AP的平均值，用于多类目标检测。

③ 如何计算AP值

示例：

若上图为已知模型的 验证集，如下是依次验证的结果,(预测的结果是经过非极大值抑制后的目标边界框)：

2是训练集中照片中目标个数

计算AP，这里使用Pascal voc 2010 年后的方法

当置信度取0.98时候：

当置信度取0.89时候：

当置信度取0.66 时候：

对计算得到的Precision-Recall 数据进行处理：（删除重复的点，如recall=0.57时候，保留Precision值最大的数据即可，删除其他数据。）

在利用数据点绘制Precision-Recall曲线的时候，本质上是求面积，积分，当面积不规则的时候，可以利用 下面的计算方法进行计算：

即是：表格中recall列依次向下，依次做差再乘以该点及其以后点对应的最大的Precision的值，其中，第一个点与0作差在相乘！

④ coco数据集的评价标准

验证集得到的评价列表：

具体可以参看官网的说明: https://cocodataset.org/#detection-eval

coco mAP
取0.5，0.55，0.60… （0.5到0.95 每间隔0.5 依次计算每个IoU对应的mAP值，再取平均值得到 coco 数据集中的 mAP 值）

⑤ 小结：如何评价自己的数据集预测结果

IoU 值设定越大，对检测精度要求越高。

具体的评价指标要看自己的数据集特征和预测的结果需求，自己的数据集种类、数据中图像的大小，以及图像中预测目标的多少。

Refence

https://www.bilibili.com/video/BV1ez4y1X7g2