1.mAP及相关概念
关于PR曲线、Precision、Recall、TP、FP、FN等概念的细节可参考机器学习评价指标合辑
关于IoU的概念和实现可参考IoU
-
mAP: mean Average Precision, 即各类别AP的平均值
-
AP: PR曲线下面积,其实是在0~1之间所有recall值的precision的平均值。
-
PR曲线: Precision-Recall曲线
-
Precision: TP / (TP + FP)
-
Recall: TP / (TP + FN)
-
TP: IoU>Threshold的检测框数量(同一Ground Truth只计算一次)
-
FP: IoU<=Threshold的检测框,或者是检测到同一个GT的多余检测框的数量
-
FN: 没有检测到的GT的数量
-
TN:不使用。
2.关于AP与PR曲线的面积
由前面定义,我们可以知道,要计算mAP必须先绘出各类别PR曲线,计算出AP。
1)积分求解
AP既然是PR曲线下的面积,那么可以通过积分来求解,即
2)插值求解
但通常情况下都是使用估算或者插值的方式计算:
(1)approximated average precision:
估算计算方式
(2)Interpolated average precision
插值计算方式
-
k 为每一个样本点的索引,参与计算的是所有样本点
-
取第 k 个样本点之后的样本中的最大值。
(3)插值方式进一步演变,
这是通常意义上的 Interpolated 形式的 AP,VOC10后采用此方式。
3.VOC采取的两种插值方式
如何采样PR曲线,VOC采用过两种不同方法。
参见:The PASCAL Visual Object Classes Challenge 2012 (VOC2012) Development Kit
在VOC2010以前,只需要选取当Recall >= 0, 0.1, 0.2, ..., 1共11个点时的Precision最大值,然后AP就是这11个Precision的平均值。在VOC2010及以后,需要针对每一个不同的Recall值(包括0和1),选取其大于等于这些Recall值时的Precision最大值,然后计算PR曲线下面积作为AP值。
1)11-point interpolation(VOC07,10之前)
11-point interpolation通过平均一组11个等间距的Recall值[0,0.1,0.2,...,1]对应的Precision来绘制P-R曲线.
计算precision时采用一种插值方法(interpolate),即对于某个recall值r,precision值取所有recall>=r中的最大值(这样保证了p-r曲线是单调递减的,避免曲线出现抖动)
2)Interpolating all points(VOC10之后)
不再是对召回率在[0,1]之间的均匀分布的11个点,而是对每个不同的recall值都计算一个ρinterp(r),然后求平均,r取recall>=r+1的最大precision值。
4.mAP计算示例(两种VOC方式比较)
一个例子有助于我们更好地理解插值平均精度的概念。 考虑下面的检测:
有7个图像,其中15个ground truth objects由绿色边界框表示,24个检测到的对象由红色边界框表示。 每个检测到的对象由字母(A,B,...,Y)标识,且具有confidence。
下表显示了具有相应置信度的边界框。 最后一列将检测标识为TP或FP。 在此示例中,如果IOU>=30%,则考虑TP,否则为FP。 通过查看上面的图像,我们可以粗略地判断检测是TP还是FP。
在一些图像中,存在多于一个与同一个ground truth重叠的检测结果(图像2,3,4,5,6和7)。 对于这些情况,选择具有最高IOU的检测框,丢弃其他框。 此规则由PASCAL VOC 2012度量标准应用:“例如,单个对象的5个检测(TP)被计为1个正确检测和4个错误检测”。
通过计算累积的TP或FP检测的precision和recall来绘制P-R曲线。 为此,首先我们需要通过置信度对检测进行排序,然后我们计算每个检测的precision和recall,如下表所示:
根据precision和recall值绘制P-R曲线如下图
如前所述,有两种不同的方法可以测量插值AP:11点插值和插值所有点。 下面我们在它们之间进行比较:
1)计算11-point interpolation
11-point interpolation AP是在一组11个recall levels(0,0.1,...,1)处的平均精度。 插值精度值是通过采用其recall大于当前recall值的最大precision获得,如下图所示:
通过使用11-point interpolation,我们得到
AP = 26.84%
2)计算在所有点中执行的插值
通过插值所有点,AP可以看作P-R曲线的AUC的近似值。 目的是减少曲线中摆动的影响。 通过应用之前给出的方程,我们可以获得这里将要展示的区域。 我们还可以通过查看从最高(0.4666)到0(从右到左看图)的recall来直观地获得插值precision,并且当我们减少recall时,我们获得最高的precision值如下图所示:
看一下上图,我们可以将AUC划分为4个区域(A1,A2,A3和A4):
计算总面积,可以得到AP:
两种不同插值方法之间的结果略有不同:分别通过每点插值和11点插值分别为24.56%和26.84%。
5.VOC方式代码实现
Facebook开源的Detectron包含VOC数据集的mAP计算,这里贴出其核心实现,以对mAP的计算有更深入的理解。
1)读取xml文件
def parse_rec(filename):
"""Parse a PASCAL VOC xml file."""
tree = ET.parse(filename)
objects = []
for obj in tree.findall('object'):
obj_struct = {}
obj_struct['name'] = obj.find('name').text
obj_struct['pose'] = obj.find('pose').text
obj_struct['truncated'] = int(obj.find('truncated').text)
obj_struct['difficult'] = int(obj.find('difficult').text)
bbox = obj.find('bndbox')
obj_struct['bbox'] = [int(bbox.find('xmin').text),
int(bbox.find('ymin').text),
int(bbox.find('xmax').text),
int(bbox.find('ymax').text)]
objects.append(obj_struct)
return objects
2)计算precision和recall:
模型的输出包含bbox和对应的置信度(confidence),首先按照置信度降序排序,每添加一个样本,阈值就降低一点(真实情况下阈值降低,iou不一定降低,iounet就是对这里进行了改进)。这样就有多个阈值,每个阈值下分别计算对应的precision和recall。
# 计算每个类别对应的AP,mAP是所有类别AP的平均值
def voc_eval(detpath,
annopath,
imagesetfile,
classname,
cachedir,
ovthresh=0.5,
use_07_metric=False):
"""rec, prec, ap = voc_eval(detpath,
annopath,
imagesetfile,
classname,
[ovthresh],
[use_07_metric])
Top level function that does the PASCAL VOC evaluation.
detpath: Path to detections
detpath.format(classname) should produce the detection results file.
annopath: Path to annotations
annopath.format(imagename) should be the xml annotations file.
imagesetfile: Text file containing the list of images, one image per line.
classname: Category name (duh)
cachedir: Directory for caching the annotations
[ovthresh]: Overlap threshold (default = 0.5)
[use_07_metric]: Whether to use VOC07's 11 point AP computation
(default False)
"""
# assumes detections are in detpath.format(classname)
# assumes annotations are in annopath.format(imagename)
# assumes imagesetfile is a text file with each line an image name
# cachedir caches the annotations in a pickle file
# first load gt
if not os.path.isdir(cachedir):
os.mkdir(cachedir)
imageset = os.path.splitext(os.path.basename(imagesetfile))[0]
cachefile = os.path.join(cachedir, imageset + '_annots.pkl')
# read list of images
with open(imagesetfile, 'r') as f:
lines = f.readlines()
imagenames = [x.strip() for x in lines]
if not os.path.isfile(cachefile):
# load annots
recs = {}
for i, imagename in enumerate(imagenames):
recs[imagename] = parse_rec(annopath.format(imagename))
if i % 100 == 0:
logger.info(
'Reading annotation for {:d}/{:d}'.format(
i + 1, len(imagenames)))
# save
logger.info('Saving cached annotations to {:s}'.format(cachefile))
with open(cachefile, 'w') as f:
cPickle.dump(recs, f)
else:
# load
with open(cachefile, 'r') as f:
recs = cPickle.load(f)
# 提取所有测试图片中当前类别所对应的所有ground_truth
# extract gt objects for this class
class_recs = {}
npos =
# 遍历所有测试图片
for imagename in imagenames:
# 找出所有当前类别对应的object
R = [obj for obj in recs[imagename] if obj['name'] == classname]
# 该图片中该类别对应的所有bbox
bbox = np.array([x['bbox'] for x in R])
difficult = np.array([x['difficult'] for x in R]).astype(np.bool)
# 该图片中该类别对应的所有bbox的是否已被匹配的标志位
det = [False] * len(R)
# 累计所有图片中的该类别目标的总数,不算diffcult
npos = npos + sum(~difficult)
class_recs[imagename] = {'bbox': bbox,
'difficult': difficult,
'det': det}
# read dets
detfile = detpath.format(classname)
with open(detfile, 'r') as f:
lines = f.readlines()
splitlines = [x.strip().split(' ') for x in lines]
# 某一行对应的检测目标所属的图像名
image_ids = [x[0] for x in splitlines]
# 读取该目标对应的置信度
confidence = np.array([float(x[1]) for x in splitlines])
# 读取该目标对应的bbox
BB = np.array([[float(z) for z in x[2:]] for x in splitlines])
# 将该类别的检测结果按照置信度大小降序排列
sorted_ind = np.argsort(-confidence)
BB = BB[sorted_ind, :]
image_ids = [image_ids[x] for x in sorted_ind]
# 该类别检测结果的总数(所有检测出的bbox的数目)
# go down dets and mark TPs and FPs
nd = len(image_ids)
# 用于标记每个检测结果是tp还是fp
tp = np.zeros(nd)
fp = np.zeros(nd)
# 按置信度遍历每个检测结果
for d in range(nd):
# 取出该条检测结果所属图片中的所有ground truth
R = class_recs[image_ids[d]]
bb = BB[d, :].astype(float)
ovmax = -np.inf
BBGT = R['bbox'].astype(float)
# 计算与该图片中所有ground truth的最大重叠度
if BBGT.size > 0:
# compute overlaps
# intersection
ixmin = np.maximum(BBGT[:, 0], bb[0])
iymin = np.maximum(BBGT[:, 1], bb[1])
ixmax = np.minimum(BBGT[:, 2], bb[2])
iymax = np.minimum(BBGT[:, 3], bb[3])
iw = np.maximum(ixmax - ixmin + 1., 0.)
ih = np.maximum(iymax - iymin + 1., 0.)
inters = iw * ih
# union
uni = ((bb[2] - bb[0] + 1.) * (bb[3] - bb[1] + 1.) +
(BBGT[:, 2] - BBGT[:, 0] + 1.) *
(BBGT[:, 3] - BBGT[:, 1] + 1.) - inters)
overlaps = inters / uni
ovmax = np.max(overlaps)
jmax = np.argmax(overlaps)
# 如果最大的重叠度大于一定的阈值
if ovmax > ovthresh:
# 如果最大重叠度对应的ground truth为difficult就忽略
if not R['difficult'][jmax]:
# 如果对应的最大重叠度的ground truth以前没被匹配过则匹配成功,即tp
if not R['det'][jmax]:
tp[d] = 1.
R['det'][jmax] = 1
# 若之前有置信度更高的检测结果匹配过这个ground truth,则此次检测结果为fp
else:
fp[d] = 1.
# 该图片中没有对应类别的目标ground truth或者与所有ground truth重叠度都小于阈值
else:
fp[d] = 1.
# 按置信度取不同数量检测结果时的累计fp和tp
# np.cumsum([1, 2, 3, 4]) -> [1, 3, 6, 10]
# compute precision recall
fp = np.cumsum(fp)
tp = np.cumsum(tp)
# 召回率为占所有真实目标数量的比例,非减的,注意npos本身就排除了difficult,因此npos=tp+fn
rec = tp / float(npos)
# 精度为取的所有检测结果中tp的比例
# avoid divide by zero in case the first detection matches a difficult
# ground truth
prec = tp / np.maximum(tp + fp, np.finfo(np.float64).eps)
# 计算recall-precise曲线下面积(严格来说并不是面积)
ap = voc_ap(rec, prec, use_07_metric)
return rec, prec, ap
这里最终得到一系列的precision和recall值,并且这些值是按照置信度降低排列统计的,可以认为是取不同的置信度阈值(或者rank值)得到的。
3)计算AP:
def voc_ap(rec, prec, use_07_metric=False):
"""Compute VOC AP given precision and recall. If use_07_metric is true, uses
the VOC 07 11-point method (default:False).
"""
# VOC2010以前按recall等间隔取11个不同点处的精度值做平均(0., 0.1, 0.2, …, 0.9, 1.0)
if use_07_metric:
# 11 point metric
ap = 0.
for t in np.arange(0., 1.1, 0.1):
if np.sum(rec >= t) == 0:
p = 0
else:
# 取recall大于等于阈值的最大precision,保证precision非减
p = np.max(prec[rec >= t])
ap = ap + p / 11.
# VOC2010以后取所有不同的recall对应的点处的精度值做平均
else:
# correct AP calculation
# first append sentinel values at the end
mrec = np.concatenate(([0.], rec, [1.]))
mpre = np.concatenate(([0.], prec, [0.]))
# 计算包络线,从后往前取最大保证precise非减
# compute the precision envelope
for i in range(mpre.size - 1, 0, -1):
mpre[i - 1] = np.maximum(mpre[i - 1], mpre[i])
# 找出所有检测结果中recall不同的点
# to calculate area under PR curve, look for points
# where X axis (recall) changes value
i = np.where(mrec[1:] != mrec[:-1])[0]
# and sum (\Delta recall) * prec
# 用recall的间隔对精度作加权平均
ap = np.sum((mrec[i + 1] - mrec[i]) * mpre[i + 1])
return ap
计算各个类别的AP值后,取平均值就可以得到最终的mAP值了。但是对于COCO数据集相对比较复杂,不过其提供了计算的API,感兴趣可以看一下cocodataset/cocoapi。
6.PASCAL数据集mAP计算方式
PASCAL VOC最终的检测结构是如下这种格式的:
比如comp3_det_test_car.txt:
000004 0.702732 89 112 516 466
000006 0.870849 373 168 488 229
000006 0.852346 407 157 500 213
000006 0.914587 2 161 55 221
000008 0.532489 175 184 232 201
每一行依次为 :
<image identifier> <confidence> <left> <top> <right> <bottom>
每一行都是一个bounding box,后面四个数定义了检测出的bounding box的左上角点和右下角点的坐标。
在计算mAP时,如果按照二分类问题理解,那么每一行都应该对应一个标签,这个标签可以通过ground truth计算出来。
但是如果严格按照 ground truth 的坐标来判断这个bounding box是否正确,那么这个标准就太严格了,因为这是属于像素级别的检测,所以PASCAL中规定当一个bounding box与ground truth的 IOU>0.5 时就认为这个框是正样本,标记为1;否则标记为0。这样一来每个bounding box都有个得分,也有一个标签,这时你可以认为前面的文件是这样的,后面多了一个标签项
000004 0.702732 89 112 516 466 1
000006 0.870849 373 168 488 229 0
000006 0.852346 407 157 500 213 1
000006 0.914587 2 161 55 221 0
000008 0.532489 175 184 232 201 1
进而你可以认为是这样的,后面的标签实际上是通过坐标计算出来的
000004 0.702732 1
000006 0.870849 0
000006 0.852346 1
000006 0.914587 0
000008 0.532489 1
这样一来就可以根据前面博客中的二分类方法计算AP了。但这是某一个类别的,将所有类别的都计算出来,再做平均即可得到mAP.
7.COCO数据集AP计算方式
COCO数据集里的评估标准比PASCAL 严格许多
COCO检测出的结果是json文件格式,比如下面的:
[
{
"image_id": 139,
"category_id": 1,
"bbox": [
431.23001,
164.85001,
42.580002,
124.79
],
"score": 0.16355941
},
……
……
]
我们还是按照前面的形式来便于理解:
000004 0.702732 89 112 516 466
000006 0.870849 373 168 488 229
000006 0.852346 407 157 500 213
000006 0.914587 2 161 55 221
000008 0.532489 175 184 232 201
前面提到可以使用IOU来计算出一个标签,PASCAL用的是 IOU>0.5即认为是正样本,但是COCO要求IOU阈值在[0.5, 0.95]区间内每隔0.05取一次,这样就可以计算出10个类似于PASCAL的mAP,然后这10个还要再做平均,即为最后的AP,COCO中并不将AP与mAP做区分,许多论文中的写法是 AP@[0.5:0.95]。而COCO中的 AP@0.5 与PASCAL 中的mAP是一样的。
8.参考资料
How to calculate mAP for detection task for the PASCAL VOC Challenge