学习笔记13-目标检测算法的评估指标

学习链接：https://www.jianshu.com/p/fd9b1e89f983

1、mAP

MAP（mean Average Precision）平均精度均值，即AP(Average Precision)的平均值，它是目标检测算法的主要评估指标。目标检测模型通常会用速度和精度(mAP)指标描述优劣，mAP值越高，表明该目标检测模型在给定的数据集上的检测效果越好。
mAP是AP(Average Precision)的平均值：
其中：
Accuracy指准度，意味着系统误差(System Error)小，即偏差(Bias) 小，描述了的实际值与真实结果的偏离程度。其是预测为正实际为正和预测为负实际负占总样本的比例。
Precision指精度，意味着随机误差(Random Error)小，即方差(Variance)小，描述了实际值的扰动情况。其是预测实际为正，占预测为正的比例，Precision可以视作是模型找出来的数据的正确能力，举例：Precision=1表示模型找一个对一个，Presicion=0.5表示模型找出2个，能对1个。

2、precison-recall-f1

Precision（精度）：意味着随机误差(Random Error)小，即方差(Variance)小，描述了实际值的扰动情况。其是预测实际为正，占预测为正的比例，Precision可以视作是模型找出来的数据的正确能力。

Recall（召回率）：是预测为正实际为正占总体正样本的比例，Recall可以视作是模型在数据集中，检测出目标类型数据的能力，即是否把想找出来的都找出来了，Recall=1表示已经把想找出来的数据全部找出来了。

F1 Score：是Precision与Recall的调和平均(harmonic mean)，是综合Precision与Recall的评估指标，用于综合反映整体的指标，避免Precision或Recall的单一极大值，Precision很大、Recall很小；或Precision很小，Recall很大，都不是好的检测能力。

举例：

有60个正样本，40个负样本，系统预测了50个正样本，其中40个是预测正确的正样本；预测了50个负样本，其中30个是预测正确的负样本。TP=40，FP=10；FN=20，TN=30。

Precision（精确度） = 40/(40+10)=80%

Recall（召回率） = 40/(40+20)=66.7%

Accuracy（准确度） = (40+30)/(40+10+30+20) = 70%

F1 Score = 240/(240+10+20) = 72.7%
但是对于目标检测（Object Detection）算法来说

补：Precision与Recall曲线：
把每次预测结果的Precision和Recall计算出来，并按照关系画出曲线，就是P-R曲线。

3、Confidence Score （置信度分数）与IoU (交并比）

Confidence Score （置信度分数） 其是一个分类器(Classifier)预测一个锚框(Anchor Box)中包含某个对象的概率(Probability)。通过设置Confidence Threshold置信度阈值可以过滤掉(不显示)小于threshold的预测对象。
IoU (Intersection over union)交并比其是预测框(Prediction)与原标记框(Ground truth)之间的重叠度(Overlap)，最理想情况是完全重叠，即比值为1。IoU用于衡量预测框的准确度。
Confidence Score和IoU共同决定一个检测结果(detection)是Ture Positive还是False Positive
当一个检测结果(detection)被认为是True Positive时，需要同时满足下面三个条件：

1，Confidence Score > Confidence Threshold（在detect.py自己设定一般不低于0.5）
2，预测类别匹配(match)真实值(Ground truth)的类别
3，预测边界框(Bounding box)的IoU大于设定阈值，如0.5

不满足条件2或条件3，则认为是False Positive。

4、计算MAP方法

AP计算： 通过计算每一个recall值对应的Precision值的平均值，可以获得一个数值形式(numerical metric)的评估指标：AP(Average Precision），用于衡量的是训练出来的模型在感兴趣的类别上的检测能力的好坏。
AP计算可以定义为经过插值的precision-recall曲线与X轴包络的面积。这种方式称为：AUC (Area under curve）
MAP计算：
假设有K种类别，K>1，那么mAP的计算公式为：

当类别K=1时，mAP = AP。
补充：
mAP(IoU@0.5)： 正常MAP算法。
mAP(IoU@0.75)： 这是一个对检测能力要求更高的标准
mAP(IoU@[0.5:0.05:0.95])： 需要计算10个IoU阈值下的mAP，然后计算平均值。这个评估指标比仅考虑通用IoU阈值(0.5)评估指标更能体现出模型的精度。