检测算法的评估指标

链接：https://www.jianshu.com/p/fd9b1e89f983

一、分类任务中的定义

1、首先认识TP、TN、FP、TN的含义

T：表示正确地；P：表示错误地；

P：表示识别成正样本；N：表示识别成负样本；

TP：正确地识别成正样本-(实际是正样本，预测对了)；

TN：正确地识别成负样本-(实际上是负样本，预测对了)；

FP：错误地识别成正样本-(实际是负样本，识别错了)

FN：错误地识别成负样本-(实际是正样本，识别错了)

怎么确定正负样本？

答：比如有5类，以第一类为正样本，其余类为负样本。

 2.Precision、Recall、Accuracy、F1 Score

Precision是预测为正实际为正占预测为正的比例；

Recall是预测为正实际为正占总体正样本的比例；

Accuracy是预测为正实际为正和预测为负实际负占总样本的比例；

F1 Score是Precision与Recall的调和平均(harmonic mean)，是综合Precision与Recall的评估指标，避免Precision或Recall的单一极大值，用于综合反映整体的指标。

二、检测任务的指标定义
1.对于目标检测（Object Detection）算法来说。

确定正样本的方式和上面的不同，需要满足三个条件：(除了类别正确，需要confidence和iou阈值都满足)

1，Confidence Score > Confidence Threshold

2，预测类别匹配(match)真实值(Ground truth)的类别

3，预测边界框(Bounding box)的IoU大于设定阈值，如0.5

不满足条件2或条件3，则认为是False Positive。

注意：当对应同一个真值有多个预测结果时，只有最高置信度分数的预测结果被认为是True Positive，其余被认为是False Positive。

(1)P-R曲线

Iou阈值是一个固定值，改变不同的置信度阈值，可以获得多对Precision和Recall值，Recall值放X轴，Precision值放Y轴，可以画出一个Precision-Recall曲线，简称P-R曲线。

当置信度阈值单调下降的时候，recall是单调上升的；而Precision总体趋势是下降的，局部趋势可能上升，也可能下降，走的所谓“zigzag”形状。

Precision-Recall曲线可以衡量目标检测模型的好坏，但不便于模型和模型之间比较。

(2)Recall-iou曲线

改变IoU的阈值，绘制recall和IoU关系曲线。这里IoU≥0.5，检测结果才被认为是True Positive，所以绘制曲线的时候，IoU取值 0.5≤IoU≤1.0。

 从Recall-IoU曲线可以看出，Recall跟IoU是单调递减关系，即IoU增加，Recall减少。

2.AP、mAP

(1)AP(Average Precision）

用于衡量的是训练出来的模型在感兴趣的类别上的检测能力的好坏。

AP的值：在Precision-Recall曲线基础上，通过计算每一个recall值对应的Precision值的平均值。

在计算AP前，为了减少曲线抖动的影响，首先对P-R曲线进行平滑。具体的方式很简单。就是对每个召回值对应的精度进行调整，调整后的值是-所有大于当前的对应的精度的最大值。

                                 

根据新标准，AP计算可以定义为经过插值的precision-recall曲线与X轴包络的面积。这种方式称为：AUC (Area under curve）

 r1，r2,...,rn是按升序排列的Precision插值段第一个插值处对应的recall值。

(2)mAP(mean Average Precision)

就是计算所有类别的AP，然后取平均值。mAP衡量的是训练出来的模型在所有类别上的检测能力的好坏。

假设有K种类别，K>1，那么mAP的标准计算公式为：

当K=1时，mAP = AP。

 Pascal VOC新标准定义的mAP计算方式可以认为是mAP的标准计算方式。

COCO挑战赛定义了12种mAP计算方式，典型的有：

mAP(IoU@0.5)，跟Pascal VOC mAP标准计算方式一致；

mAP(IoU@[0.5:0.05:0.95])，需要计算10个IoU阈值下的mAP，然后计算平均值。这个评估指标比仅考虑通用IoU阈值(0.5)评估指标更能体现出模型的精度。

除了根据不同的IoU阈值来计算mAP外，还可以根据检测目标的大小来计算。

mAP@small，检测目标的面积 ≤ 32x32

mAP@medium，32x32 ＜ 检测目标的面积 ≤ 96x96

mAP@Large，96x96 ＜ 检测目标的面积。

得分