目标检测常用评判指标
深度学习下的目标检测性能评价指标简介(mAP、IOU…)
在小伙伴们儿在接触到目标检测算法之后,往往需要一个公共的评价指标,但是这些mAP、IOU、召回率…具体是代表着什么含义呢?本文就带领各位,对这些评价指标进行深入的了解。
TP、FP、FN、TN
1)True positives(TP): 被正确地划分为正例的个数,即实际为正例且被分类器划分为正例的实例数(样本数)
(True–>True)的个数;
2)False positives(FP): 被错误地划分为正例的个数,即实际为负例但被分类器划分为正例的实例数
(False–> True)的个数;
3)False negatives(FN):被错误地划分为负例的个数,即实际为正例但被分类器划分为负例的实例数
(True–>False)的个数;
4)True negatives(TN): 被正确地划分为负例的个数,即实际为负例且被分类器划分为负例的实例数
(False–>False)的个数。
precision: 准确率,recall: 召回率,F1-score
准确率(Precison)、召回率(recall)
precision : 准确率,指预测为positive中,ground truth是positive所占的比例(TP/(TP+FP)),该值越大越好,1为理想状态
recall : 召回率,指所有的True样本中,预测为positive所占的比例(TP/(TP+FN)),该值越大越好,1为理想状态
准确率和召回率都是针对同一类别来说的,并且只有当检索到当前类别时才进行计算,比如在person re-id中,一个人的label为m1,在测试集中包含3张此人的图像,检索出来的图像按照得分从高到低顺序为m1、m2、m1、m3、m4、m1….,此时
-
第一次检索到m1,提取出的正确信息条数=1,提取出的信息条数=1,样本中的信息条数=3,正确率=1/1=100%,召回率=1/3=33.33%;
-
第二次检索到m1,提取出的正确信息条数=2,提取出的信息条数=3,样本中的信息条数=3,正确率=2/3=66.66%,召回率=2/3=66.66%;
-
第三次检索到m1,提取出的正确信息条数=3,提取出的信息条数=6,样本中的信息条数=3,正确率=3/6=50%,召回率=3/3=100%;
简而言之,准确率表示:预测正确的正样本/所有预测为真的正样本;
召回率表示:预测正确的正样本/所有的正样本。(以下称准确率为P,召回率为R)
F1-score
F-Score评价指标是由准确率与召回率的组合而成的。如下公式所示是:
当β=1时, F-Score就是F1-Score=2PR/(P+R)
F1-Score=2PR/(P+R)
当β大于1时,则召回率在任务中更为重要,
当β小于1时,则准确率在任务中更为重要,
当β等于1时,准确率与召回率占相同比率。
AP、mAP、IOU
AP
在介绍AP是什么之前,必须要提到一个曲线:PR曲线,顾名思义,就是以召回率(recall)为横坐标,准确率(precision)为纵坐标的曲线,如下图所示:
P-R曲线即 以 precision 和 recall 作为 纵、横轴坐标 的二维曲线。通过选取不同阈值时对应的精度和召回率画出
总体趋势,精度越高,召回越低,当召回达到1时,对应概率分数最低的正样本,这个时候正样本数量除以所有大于等于该阈值的样本数量就是最低的精度值。
而,P-R曲线围起来的面积就是AP值,通常来说一个越好的分类器,AP值越高。
这种面积求法,只需对P®进行(0,1)区间内的积分就可以。
mAP
mAP就是将每个类别的AP算出来,再进行取平均: