史上最全AP/mAP通用代码实现(即插即用-基于yolo模型)-中

tangjunjun-owen

已于 2024-03-08 11:05:10 修改

阅读量1.2k

点赞数 21

分类专栏：目标检测文章标签： YOLO map指标通用模块基于yolov5模型应用目标检测

于 2023-12-28 10:30:00 首次发布

本文链接：https://blog.csdn.net/weixin_38252409/article/details/135141491

版权

目标检测专栏收录该内容

11 篇文章 6 订阅

订阅专栏

提示：通用map指标框架代码介绍，并基于yolo模型应用map指标计算代码解读

前言

“史上最全AP、mAP详解与代码实现”文章（这里）已经介绍了map相关原理，且给出相应简单代码实现AP方法。然将AP计算融入模型求解AP结果，可能是一个较为复杂的工程量。恰好，我也有一些这样的需求，我是想计算相关DETR的map指标。我将构造一个即插即用计算map的相关模块代码，使用者只需赋值我的模块，即可使用。同时，为了更好快速使用，我将基于通用模型yolo为基准介绍map通用模块(你有疑问，yolo已有val.py可测试map，但yolo无法测出small、medium、large等相关AP或AP0.75等结果)。本文将直接介绍计算map核心代码简单列子，在此基础上介绍整个即插即用map计算模块使用方法与代码解读。

一、map模块整体认识

本文就是一个detection_map即插即用计算map指标模块，可计算任何模型map指标，但有效计算需要稍微修改部分代码，我后面将介绍。基于此，我将整理一份yolo模型的通用map框架代码。那么，本文将介绍2个内容，其一为简单计算map的一个列子，其原理可参考这里博客，我将这个列子传递到这里；其二为基于yolo模型介绍通用map模块计算方法map_yolo。其整体架构如下图：
在这里插入图片描述
注：我使用yolov5-6.1模型，仅将detection_map放入该位置，即可使用。

二、map计算应用代码解读

实现mAP计算，我们需要有已知真实标签与模型预测标签，按照pcocotools的格式生成真实标签与预测标签的json格式，即可实现map指标计算。

from pycocotools.coco import COCO
from pycocotools.cocoeval import COCOeval
if __name__ == "__main__":
    cocoGt = COCO('coco_format.json')        #标注文件的路径及文件名，json文件形式
    cocoDt = cocoGt.loadRes('predect_format.json')  #自己的生成的结果的路径及文件名，json文件形式

    cocoEval = COCOeval(cocoGt, cocoDt, "bbox")
    cocoEval.evaluate()
    cocoEval.accumulate()
    cocoEval.summarize()

介于我在这篇文章这里已有详细介绍，我将不在介绍。我这里只是上传了相应json文件与代码文件供读者快速实现与理解这里。

三、通用map计算指标代码解读

介于我在这篇文章这里已有详细介绍，我将不在介绍，文章参考内容如下图：
在这里插入图片描述
当然，你也可以在此网盘中下载map计算核心代码，链接如下：

链接：https://pan.baidu.com/s/1toQkeWGygo3tFMsFHFCnYA
提取码：apyo

四、基于yolov5使用通用map计算指标代码解读

这一部分也是本文最重要一部分，实际有关map原理内容或整体模块实现已在我推荐文章中，但推荐文章缺点是没有放置相应代码内容。而该部分就是直接给出基于yolov5模型调用map通用模块实现的相关代码或工程。

1、通用map指标计算模块整体结构说明

构建初始化模型，配置相关参数，直接使用computer_main函数集成，进行推理与map指标计算(整体如下图)。

在这里插入图片描述

2、参数构建

我构建模型相关参数，如数据文件夹、权重及推理相关参数，特别是conf阈值与iou阈值需要关注，在yolov5的val.py指标计算设置conf阈值=0.001、iou阈值=0.6，这个根据自己情况而定。

def parse_opt():
    parser = argparse.ArgumentParser()
    parser.add_argument('--source', type=str, default= r'E:\project\data\voc_data\voc2007_data\images\test', help='dataset.yaml path')
    parser.add_argument('--weights', nargs='+', type=str,
                        default=r'E:\project\project_distilation\experiment\runs\train\yolo_x2s_iou-0.45_conf-0.85/weights/best.pt',
                        help='model.pt path(s)')
    parser.add_argument('--device', default='', help='cuda device, i.e. 0 or 0,1,2,3 or cpu')
    parser.add_argument('--conf_thres', type=float, default=0.001, help='confidence threshold，default=0.001')
    parser.add_argument('--iou_thres', type=float, default=0.6, help='NMS IoU threshold，default=0.6')
    parser.add_argument('--imgsz', '--img', '--img_size', type=int, default=640, help='inference size (pixels)')
    parser.add_argument('--save_dir',  default='runs/val_map/exp', help='图像保存路径')
    parser.add_argument('--save_img', default=False, help='保存框图像查看')
    opt = parser.parse_args()

    return opt

3、数据准备

很简单，只要满足pycocotools计算map指标json输入格式即可。我为了给定gt标注得到相应json文件格式，我需要图片文件夹内有对应xml文件(如下图)。预测生成的json格式，我使用代码完成了。
在这里插入图片描述

4、模型初始化

yolov5模型初始化较为简单，直接使用yolov5自带的attempt_load方式初始化模型即可，如下代码：


def init_model(weights):

    model = attempt_load(weights, map_location=device)
    model = model.eval()
    return model

5、map指标计算函数(computer_main)代码解读

我大概描述该函数内容(按步骤说明)：

①、获得图像相关路径及指标计算函数初始化

C = Computer_map()
img_root_lst = C.get_img_root_lst(opt.source)  # 获得图片绝对路径与图片产生image_id映射关系

②、获得类别

categories = model.names  
C.get_categories(categories)

③、生成gt的json文件

xml_root_lst = [name[:-3] + 'xml' for name in img_root_lst]
for xml_root in xml_root_lst: C.xml2cocojson(xml_root)

④、图像预处理

for img_path in img_root_lst:
   img0 = cv2.imread(img_path)
   img = letterbox(img0, img_size, stride=stride, auto=True)[0]
   img = img.transpose((2, 0, 1))[::-1]  # HWC to CHW, BGR to RGB
   im = np.ascontiguousarray(img)
   im = torch.from_numpy(im).to(device)
   im = im.float()  # uint8 to fp16/32
   im /= 255  # 0 - 255 to 0.0 - 1.0
   if len(im.shape) == 3:
       im = im[None]  # expand for batch dim

这里图像预处理是调用yolov5的letterbox函数。

⑤、模型推理与后处理

pred = model(im)[0]  
result = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=None,multi_label=True)
det = result[0]

这里仍然是调用yolov5模型与非极大值后处理函数。

⑥、输出尺寸恢复

if len(det)>0:
    det[:, :4] = scale_coords(im.shape[2:], det[:, :4], img0.shape).round()

这里也是调用scale_coords函数恢复预测的box到原图尺寸对应box。

⑦、生成预测json格式文件

det = det.cpu().numpy() if det.is_cuda else det.numpy()  # 处理为cuda上的数据或cpu转numpy格式
det = [[d[0],d[1],d[2],d[3],d[4], categories[int(d[5])] ] for d in det] # 给定名称name标签
# det 格式为列表[x1,y1,x2,y2,score,label],若无结果为空
img_name = C.get_strfile(img_path)
C.detect2json(det, img_name)

这里需要循环推理每个图像预测结果，生成对应满足pycocotools预测json文件格式内容。

当然，我做了是否保存预测图像模块，如果需要使用大致查看预测内容，建议conf与iou阈值试单调整，否则满图都是框。

 if opt.save_img:
     img=draw_bbox(img0,det)
     cv2.imwrite(os.path.join(opt.save_dir,img_name),img)

⑧、map指标计算

循环推理完所有图片，也意味预测json保存完毕，就直接使用gt与pred文件json，调用我集成好的函数，即可实现map指标计算，如下：

C.computer_map()  # 计算map

computer_main代码

def computer_main(opt, model):
    '''
    data_root:任何文件夹，但必须保证每个图片与对应xml必须放在同一个文件夹中
    model:模型，用于预测
    '''

    stride=32
    img_size=[opt.imgsz, opt.imgsz]

    C = Computer_map()
    img_root_lst = C.get_img_root_lst(opt.source)  # 获得图片绝对路径与图片产生image_id映射关系

    # 在self.coco_json中保存categories，便于产生coco_json和predetect_json
    categories = model.names  # 可以给txt路径读取，或直接给列表  #*********************得到classes,需要更改的地方***********##
    C.get_categories(categories)

    # 产生coco_json格式
    xml_root_lst = [name[:-3] + 'xml' for name in img_root_lst]
    for xml_root in xml_root_lst: C.xml2cocojson(xml_root)  # 产生coco json 并保存到self.coco_json中
    if opt.save_img:build_dir(opt.save_dir)
    # 产生预测的json
    for img_path in img_root_lst:
        img0 = cv2.imread(img_path)
        img = letterbox(img0, img_size, stride=stride, auto=True)[0]
        img = img.transpose((2, 0, 1))[::-1]  # HWC to CHW, BGR to RGB
        im = np.ascontiguousarray(img)


        im = torch.from_numpy(im).to(device)
        im = im.float()  # uint8 to fp16/32
        im /= 255  # 0 - 255 to 0.0 - 1.0
        if len(im.shape) == 3:
            im = im[None]  # expand for batch dim

        pred = model(im)[0]  ####**********************需要更改的地方***********************####

        result = non_max_suppression(pred, opt.conf_thres, opt.iou_thres, classes=None,multi_label=True)
        det = result[0]
        # result, classes = parse_result['result'], parse_result['classes']
        if len(det)>0:
            det[:, :4] = scale_coords(im.shape[2:], det[:, :4], img0.shape).round()
        det = det.cpu().numpy() if det.is_cuda else det.numpy()  # 处理为cuda上的数据或cpu转numpy格式
        det = [[d[0],d[1],d[2],d[3],d[4], categories[int(d[5])] ] for d in det] # 给定名称name标签
        # det 格式为列表[x1,y1,x2,y2,score,label],若无结果为空
        img_name = C.get_strfile(img_path)
        C.detect2json(det, img_name)

        if opt.save_img:
            img=draw_bbox(img0,det)
            cv2.imwrite(os.path.join(opt.save_dir,img_name),img)
    C.computer_map()  # 计算map

6、基于yolov5的map指标计算代码链接

链接：https://pan.baidu.com/s/1ZH-9ItFrO3trK9KvlYtsug
提取码：yoap

总结

本文核心是介绍自己构建的map通用框架代码，为介绍该框架，我借助yolov5模型作为基准，一步步阐述如何使用map通用框架指标计算。

tangjunjun-owen

关注

21
点赞
踩
25

收藏

觉得还不错? 一键收藏
打赏
0
评论
史上最全AP/mAP通用代码实现(即插即用-基于yolo模型)-中

史上最全AP、mAP详解与代码实现”文章（这里）已经介绍了map相关原理，且给出相应简单代码实现AP方法。然将AP计算融入模型求解AP结果，可能是一个较为复杂的工程量。恰好，我也有一些这样的需求，我是想计算相关DETR的map指标。我将构造一个即插即用计算map的相关模块代码，使用者只需赋值我的模块，即可使用。
复制链接

扫一扫