如何利用cocoapi评估模型在coco数据集上的AP

目前绝大多数目标检测算法都使用coco数据集进行模型评估。那么如何验证sota模型的是否达到paper给出的AP，或者自己的数据増广策略、训练调参等是否能提升模型的AP？cocoapi提供了接口！

下面给出使用python调用cocoapi流程和实例：

• 首先切换到 PythonAPI路径下，然后make
• 在PythonAPI路径下新建脚本文件：evaluate.py
  脚本代码：

# -*- coding:utf-8 -*-
from pycocotools.coco import COCO 
from pycocotools.cocoeval import COCOeval 
import numpy as np 
import skimage.io as io 
import pylab,json 

if __name__ == "__main__":
    parser = argparse.ArgumentParser()
    parser.add_argument("-g", "--gt", type=str, help="Assign the groud true path.", default=None)
    parser.add_argument("-d", "--dt", type=str, help="Assign the detection result path.", default=None)
    args = parser.parse_args()
    
    cocoGt = COCO(args.gt)
    cocoDt = cocoGt.loadRes(args.dt)
    cocoEval = COCOeval(cocoGt, cocoDt, "bbox")
    cocoEval.evaluate()
    cocoEval.accumulate()
    cocoEval.summarize()

脚本跑完后，会打印出汇总结果，如下图：

上图是使用416尺寸对yolov3预训练模型的验证结果。
脚本输入参数：

• –gt: coco数据集annotations路径下instances_val2014.json文件的path
• –dt: 预测模型结果文件路径（json文件）

需要注意的是预测结果格式：1个由单个bbox信息字典组成的list:
[{“bbox”: [225.7, 207.6, 128.7, 140.2], “score”: 0.999, “image_id”: 581929, “category_id”: 17}, {“bbox”: [231.1, 110.6, 33.5, 36.7], “score”: 0.992, “image_id”: 581929, “category_id”: 17},…]