目标检测评价指标(mAP、P-R曲线、IOU)
一、mAP
真实情况 | 预测为正 | 预测为反 | recall召回率 |
---|---|---|---|
正 | TP | FN | R = TP / (TP + FN) |
反 | FP | TN | |
precision准确率 | P = TP / (TP + FP) |
如何去理解?
这四个字母看着真头晕,就算看博客当时理解了,过一会儿就忘了,所以决定整理一下,用特殊的方法记住他!
后面的字母P
(positive)和N
(negative)是针对检测器而言的。检测器认为它是正,则是P,反之则为N。
前面的字母T
(true)和F
(false)是用来修饰检测器所检测出来的结果。可以把前面的字母当成上帝,它有上帝视角,知道检测器到底预测的对不对。上帝说是T就是你预测对了,是F就是预测错了。
尝试理解
检测器说是P正例,上帝告诉你,你对了,真实情况就是正例,则是TP(上帝说你对T + 检测器认为正)。
检测器说是P正例,但上帝告诉你,你错了,真实情况是反例,则是FP(上帝说你错F + 检测器认为正)。
检测器说是N反例,上帝告诉你,你错了,真实情况是正例,则是FN(上帝说你错F + 检测器认为是反)。
检测器说是N反例,上帝告诉你,你对了,真实情况就是反例,则是TN(上帝说你对T + 检测器认为是反)。
precision准确率(第一列)
检测器认为是正的例子中,有多少是真正的正?
P
=
T
P
T
P
+
F
P
P = \frac{TP}{TP + FP}
P=TP+FPTP
recall召回率(第一行)
所有正例中(真正的正,上帝认为正),检测器预测对了多少?
R
=
T
P
T
P
+
F
N
R = \frac{TP}{TP + FN}
R=TP+FNTP
P-R曲线
此图截自FCOS论文。
由图可知,P-R曲线是以precision为纵坐标、recall为横坐标的二维曲线,称P-R曲线(precision-recall curves)。通过在不同阈值的情况下所对应precision和recall画出此图。
准确率precision和召回率recall是一对相悖的指数,不可能做到两个指数都特别高,一边高另一边指数就低。
P-R曲线所围起来的面积就是AP值,通常来说,一个越好的检测器,AP值越高。而且一般来说,P-R曲线越靠右,包着左边的曲线,则右边这个是更好的检测器。
可以看到图中是class-agnostic P-R曲线,是分类无关曲线。实际情况中,每一类都可以根据自己的precision和recall绘制P-R曲线,而mAP值就是每一类的AP的平均值。
二、IOU(交并比)
IOU即交并比(Intersection-over-Union),目标检测中最常见的一个指标,用于测量预测到的bounding box和实际标注框之间的分数。值得一提的是,最近在学习anchor-free方式的目标检测,IOU在anchor-free中用的较少。
IOU表示所预测的框(bounding box,简称bbox)与原标注框(ground-truth box,简称gt box)的重合率。最理想的情况下是完全重叠,即比值为1.
I
o
U
=
I
n
t
e
r
s
e
c
t
i
o
n
U
n
i
o
n
IoU = \frac{Intersection}{Union}
IoU=UnionIntersection
参考博客:
https://blog.csdn.net/qq_29893385/article/details/81213377
https://blog.csdn.net/u014203453/article/details/77598997