评估计算recall、precision、AP、F1、mAP（PyTorch-YOLOv3代码解析二）

已于 2024-03-15 22:47:04 修改
阅读量6.5k 收藏 29
点赞数 6
分类专栏： 目标检测 深度学习知识点 文章标签： 目标检测 检测结果评估计算
于 2021-04-13 11:44:03 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/YMilton/article/details/115658467
版权
本文详细介绍了如何使用PyTorch实现YOLOv3目标检测中的评估函数ap_per_class，包括计算AP（Average Precision）、召回率、精确度和F1分数。涉及数据预处理、TP统计以及多幅图像的批量评估过程。
摘要由CSDN通过智能技术生成

目标检测评估计算（utils.py）

代码github地址：https://github.com/eriklindernoren/PyTorch-YOLOv3

1. 检测的评估函数

# reference: https://github.com/eriklindernoren/PyTorch-YOLOv3/blob/f917503ffe4a21d2b1148d8cb13b89b834517d76/utils/utils.py

def ap_per_class(tp, conf, pred_cls, target_cls):
    """ 通过召回率与精确度曲线计算mAP
    Source: https://github.com/rafaelpadilla/Object-Detection-Metrics.
    # 参数说明
        tp: True positives (list).
        conf: 置信度[0,1] (list).
        pred_cls: 预测的目标类别 (list).
        target_cls: 真正的目标类别 (list).
    # 返回
          [precision,recall,average precision,f1, classes_num]
    """

    # 按照预测的置信度做降序排列, 得到排序的索引
    i = np.argsort(-conf)
    tp, conf, pred_cls = tp[i], conf[i], pred_cls[i]

    # 去除重复项
    unique_classes = np.unique(target_cls)

    # 为每个类别创建精度-召回曲线, 计算AP
    ap, p, r = [], [], []
    for c in tqdm.tqdm(unique_classes, desc="Computing AP"):
        # 找出等于c的位置
        i = pred_cls == c
        # 类别c的人工标注目标的数量
        n_gt = (target_cls == c).sum()
        # 类别c的预测目标数量
        n_p = i.sum()

        if n_p == 0 and n_gt == 0:
            continue
        elif n_p == 0 or n_gt == 0:
            ap.append(0)
            r.append(0)
            p.append(0)
        else:
            # 累加计算FPs与TPs
            fpc = (1 - tp[i]).cumsum()  #
            tpc = (tp[i]).cumsum()

            # Recall
            recall_curve = tpc / (n_gt + 1e-16)  # TP/(TP + FN) (TP+FN)为当前类人工标注目标数量
            r.append(recall_curve[-1]) # 这个类别的召回率

            # Precision
            precision_curve = tpc / (tpc + fpc)  # TP/(TP + FP) (TP+FP)为预测框的数量
            p.append(precision_curve[-1]) # 这个类别的精确率

            # 从召回率-精确率曲线计算AP
            ap.append(compute_ap(recall_curve, precision_curve))

    # Compute F1 score (harmonic mean of precision and recall)
    p, r, ap = np.array(p), np.array(r), np.array(ap)
    f1 = 2 * p * r / (p + r + 1e-16)

    return p, r, ap, f1, unique_classes.astype("int32")

2. batch预测数据的统计

(1) 数据加载。通过统计非极大值抑制后得到的outputs与人工标注框的targets条目，得到TP(目标预测正确)。统计的数据为一个batch的，保存的数据为statistics_data.pt，输出数据的shape。

# 非极大值抑制后的outputs,与targets
batch_statistics = torch.load('statistics_data.pt',map_location='cpu')
outputs = batch_statistics['outputs']
targets = batch_statistics['targets']
print('outputs_shape: ',[x.shape for x in outputs])
print('targets_size: ', targets.shape,end='\n\n')

输出结果：

数据statistics_data.pt保存的是8幅图像预测框与人工标注框数据，其中outputs的数据由非极大值抑制获取。outputs数据格式[x1,y1,x2,y2,conf,class_score,class_idx]，targets数据格式[batch_idx,class_idx,x1,y1,x2,y2]。数据中的坐标是相对于网络中的输入尺寸。

(2) 统计TP。当某幅图像的某个预测框与targets中的真实框的IoU大于某个阈值，则表示该预测框能够作为targets中真实框的预测值。

# output为某幅图像的预测框，初始化tp
true_positives = np.zeros(output.shape[0])
# 找出targets中batch_idx=i的class_idx与标注框坐标
annotations = targets[targets[:, 0] == i][:, 1:]
    
if len(annotations):
    # 真实的目标类别代号，标注框
    target_labels = annotations[:, 0]
    target_boxes = annotations[:, 1:]
    print('target_boxes: ',target_boxes,',target_labels: ',target_labels)   
    detected_boxes = []
    # 遍历预测框索引，预测框坐标，预测类别代号 
    for pred_i,(pred_box, pred_cls) in enumerate(zip(output[:,:4],output[:,-1])):
        if len(detected_boxes) == len(target_boxes): break
        if pred_cls not in target_labels: continue 
        # 预测框去拟合目标框（通过最大的IoU加阈值判断）   
        iou, box_index = bbox_iou(pred_box.unsqueeze(0), target_boxes).max(0)
        print('pred_{}'.format(pred_i),iou, ',box_index: ',box_index)
        if iou >= iou_threshold and box_index not in detected_boxes:
            # 预测真实值则赋值相应位置为1
            true_positives[pred_i] = 1
            detected_boxes += [box_index]

输出结果：

[true_positives, pred_confs, pred_cls]：

多幅图像的统计：

# batch统计
batch_metrics = []
for i,output in enumerate(outputs):
    true_positives = np.zeros(output.shape[0])
    annotations = targets[targets[:, 0] == i][:, 1:]
    
    if len(annotations):
        target_boxes = annotations[:, 1:]
        target_labels = annotations[:, 0]
        detected_boxes = []
        
        for pred_i,(pred_box, pred_cls) in enumerate(zip(output[:,:4],output[:,-1])):
            if len(detected_boxes) == len(target_boxes): break
            if pred_cls not in target_labels: continue 
            
            iou, box_index = bbox_iou(pred_box.unsqueeze(0), target_boxes).max(0)
            if iou >= iou_threshold and box_index not in detected_boxes:
                true_positives[pred_i] = 1
                detected_boxes += [box_index]
    # 每幅图像的TP,预测的目标置信度,预测类别代号
    batch_metrics.append([true_positives,output[:,4],output[:,-1]])

3. Recall、Precision、F1、AP、mAP计算

(1) 获取batch统计的结果与排序

batch_metrics的数据结构（list）：

[[true_positives1, pred_confs1, pred_cls1],

[true_positives2, pred_confs2, pred_cls2],

[true_positives3, pred_confs3, pred_cls3],

......]

通过解包重组: list(zip(*batch_metrics))，然后得到如下：

[(true_positives1, true_positives2, ......),

(pred_confs1, pred_confs2, ......),

(pred_cls1, pred_cls2, ......) ]

# 解包一个batch的数据
true_positives, pred_confs, pred_cls = [np.concatenate(x, 0) for x in list(zip(*batch_metrics))]

按照置信度降序排列统计的数据

# 按照置信度降序排序，排序tp,conf，cls
idx = np.argsort(-pred_confs)
tp, pre_confs, pred_cls = true_positives[idx],pred_confs[idx],pred_cls[idx]

(2) 评估一个batch的预测结果。通常情况是通过第2步的统计，统计出整个验证图片库的[true_positives, pred_confs, pred_cls]数据，然后再计算相应的评估值。

a. 召回率、精确度曲线

# 人工标注的类别
unique_cls = np.unique(target_cls)

# 每个类别创建精度-召回曲线, 计算AP
ap, p, r = [], [], []
for num, c in enumerate(unique_cls):
    idx = pred_cls==c
    # 类别c的人工标注目标的数量
    n_gt = (target_cls == c).sum().numpy()
    n_p = idx.sum()
    print('n_gt: ',n_gt,',n_p: ',n_p)
    
    if n_p == 0 and n_gt == 0:
        continue
    elif n_p == 0 or n_gt == 0:
        ap.append(0)
        r.append(0)
        p.append(0)
    else:
        # 累加计算FPs与TPs
        fpc = (1 - tp[idx]).cumsum()
        tpc = tp[idx].cumsum()
        
        # 召回率
        recall_curve = tpc/(n_gt + 1e-16) # TP/(TP+FN)
        r.append(recall_curve[-1])
        
        # 精确率
        precision_curve = tpc/(tpc+fpc) # TP/(TP+FP)
        p.append(precision_curve[-1])
        print('recall_curve: ',recall_curve,'\nprecision_curve: ',precision_curve)

一个类别召回率、精确度曲线输出：

b. AP计算

AP是召回率-精确度曲线的面积，采用的方法为积分求面积。通过plot绘制的曲线如下图所示：

积分的方法需要找出图中recall存在梯度的位置，即上图红色线与红色线之间在recall方向存在梯度（也就是相邻的两个点的recall值不同）。把整个面积区域划分成坐标点-1个条形图（图中8个点，则有7个条形图），然后求和所有条形图的面积得到AP的面积。实现代码如下：

# 计算AP，检测评估函数compute_ap
mrec = np.concatenate(([0.0], recall_curve, [1.0]))
mpre = np.concatenate(([1.0], precision_curve, [0.0]))
        
for i in range(mpre.size - 1, 0, -1):
    mpre[i - 1] = np.maximum(mpre[i - 1], mpre[i])
        
# 找出召回率有梯度的位置
idx = np.where(mrec[1:] != mrec[:-1])[0]
# 计算面积 sum(delta_recall*precision)
ap_c = np.sum((mrec[idx+1] - mrec[idx])*mpre[idx + 1])

c. 计算F1

f1 = 2 * p * r / (p + r + 1e-16)

d. 总体代码

# 评估一个batch的预测结果
true_positives, pred_confs, pred_cls = [np.concatenate(x, 0) for x in list(zip(*batch_metrics))]
target_cls = targets[:,1]

# 按照置信度降序排序，排序tp,conf，cls
idx = np.argsort(-pred_confs)
tp, pre_confs, pred_cls = true_positives[idx],pred_confs[idx],pred_cls[idx]

# 得到人工标注的类别
unique_cls = np.unique(target_cls)

# 为每个类别创建精度-召回曲线, 计算AP
ap, p, r = [], [], []
for num, c in enumerate(unique_cls):
    idx = pred_cls==c
    # 类别c的人工标注目标的数量
    n_gt = (target_cls == c).sum().numpy()
    n_p = idx.sum()
    
    if n_p == 0 and n_gt == 0:
        continue
    elif n_p == 0 or n_gt == 0:
        ap.append(0)
        r.append(0)
        p.append(0)
    else:
        # 累加计算FPs与TPs
        fpc = (1 - tp[idx]).cumsum()
        tpc = tp[idx].cumsum()
        
        # 召回率
        recall_curve = tpc/(n_gt + 1e-16) # TP/(TP+FN)
        r.append(recall_curve[-1])
        
        # 精确率
        precision_curve = tpc/(tpc+fpc) # TP/(TP+FP)
        p.append(precision_curve[-1])
        
        # 计算AP
        mrec = np.concatenate(([0.0], recall_curve, [1.0]))
        mpre = np.concatenate(([1.0], precision_curve, [0.0]))
        
        for i in range(mpre.size - 1, 0, -1):
            mpre[i - 1] = np.maximum(mpre[i - 1], mpre[i])
        
        # 找出召回率有梯度的位置
        idx = np.where(mrec[1:] != mrec[:-1])[0]
        
        # 计算面积
        ap_c = np.sum((mrec[idx+1] - mrec[idx])*mpre[idx + 1])
        ap.append(ap_c)

# batch中所有类别       
p, r, ap = np.array(p), np.array(r), np.array(ap)
f1 = 2 * p * r / (p + r + 1e-16)

#[类别，召回率，精确率，F1, AP]
str_list = ['%d \t %.3f \t %.3f \t %.3f \t %.3f'%(x[0],x[1],x[2],x[3],x[4]) for x in np.array([unique_cls,r,p,f1,ap]).T]
print('cls_num | recall | precision | F1 | AP')
for x in str_list:
    print(x)

print('mAP:', np.mean(ap))

输出结果：

MiltonY
关注
  • 6
    点赞
  • 踩
  • 29
    收藏
    觉得还不错? 一键收藏
  • 8
    评论
专栏目录
万字长文精解目标检测中的TP、FP、FN、TN、Precision、Recall 、 F1 Score、AP、mAP与AR 。附代码实现。
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-16 5019
mAP（Mean Average Precision）是用于评估对象检测和信息检索系统性能的重要指标。它综合考虑了检测结果的精确度（Precision）和召回率（Recall），提供了一个整体的性能评价。你是否见过下面的表格？这是COCO版本的mAP（即平均精度，他们简称之为AP）。但这个指标到底代表什么呢？这些符号又都代表什么含义呢？在本文中，我们将详细讲解所有必要的理论知识，不仅帮助你解读表格中的数据，还能让你理解采用这种复杂指标的必要性。
YOLOv5性能评估指标-＞mAP、Precision、Recall、FPS、Confienc (讲解论文关注的主要指标)
Snu77的博客
12-21 1万+
这篇博客，主要给大家讲解我们在训练yolov5时生成的结果文件中各个图片及其中指标的含义，帮助大家更深入的理解，以及我们在评估模型时和发表论文时主要关注的参数有那些。本文通过举例训练过程中的某一时间的结果来帮助大家理解，大家阅读过程中如有任何问题可以在评论区提问出来，我会帮助大家解答。首先我们来看一个在一次训练完成之后都能生成多少个文件如下图所示，下面的文章讲解都会围绕这个结果文件来介绍。
precision, recall, f1score code-精确度、召回率、f1核心代码-matlab
最新发布
07-29
开发5种异常行为检测AI模型时使用的精度、召回率和f1score代码。 This is the precision, recall, and f1score code used when developing 5 types of abnormal behavior detection AI models.
精度(precision)，召回率(recall)，map
pikaqiu_n95的博客
10-20 4301
目标检测中经常会见到precision，recall，map三个指标用来评估一个模型的优劣，当然在很多其他的应用中也可以看到这三个指标的具体应用；因此很有必要对这三个指标进行详细的了解。在介绍这三个指标之前有必要先了解几个基本的术语：True positives，True negatives，False positives，False negative。 大雁和飞机 假设现有一个测试集，测试集中仅包含大雁和飞机两种目标，如图所示： 假设分类的目标是：取出测试集中所有飞机图片，而非大雁图片 现做如下定义：
深度学习：Pytorch实现全连接网络的MNIST数据集分类及性能指标（准确率、精确率、召回率和混淆矩阵）分析
Curry0330的博客
07-16 1659
深度学习实战——基于Pytorch实现MNIST数据集分类
目标检测算法指标（详细讲解+代码实现）
m0_74055982的博客
05-09 1799
在目标检测算法中，训练出一个模型，想要知道这个模型的效果怎么样，主要是从模型的指标得出的，指标不仅在论文还是在自己学习的过程中，都是十分重要的，下边就来详细介绍一下指标的这个概念。
YOLO计算二分类目标检测的Precision、Recall代码实现
Ben的博客
11-04 1876
计算二分类目标检测的Precision、Recall、TP、FP、FN必备文件计算思路完整代码 必备文件 经过模型检测得到的检测矩形框结果txt，以及原Ground truth的txt,格式如下： 0 0.5568524 0.354654 0.356945 0.24562324 第一列为class name，第二列为归一化后bounding box的中心点x坐标，第三列为中心点y坐标，第四列为bounding box的宽w，第五列为高h。 计算思路 将xywh逆归一化，得到bounding box的xm
推荐系统评价指标
qq_38124658的博客
08-04 311
混淆矩阵 True Positive(真正, TP)：将正类预测为正类数. True Negative(真负 , TN)：将负类预测为负类数. False Positive(假正, FP)：将负类预测为正类数. →→ 误报 (Type I error). False Negative(假负 , FN)：将正类预测为负类数. →→ 漏报 (Type II error). 1. 精确率(precision) 定义如下： P=TPTP+FP P=\frac{T P}{T P+F P} P=TP+FPTP​ T
机器学习：性能度量——Precision，Recall，F1_score（Python）
2302_78896863的博客
01-23 844
【代码】机器学习：性能度量——Precision，Recall，F1_score（Python）
pytorch实战：详解查准率（Precision）、查全率（Recall）与F1
forGemini的博客
11-24 1万+
pytorch实战：详解查准率（Precision）、查全率（Recall）与F1 1、概述 本文首先介绍了机器学习分类问题的性能指标查准率（Precision）、查全率（Recall）与F1度量，阐述了多分类问题中的混淆矩阵及各项性能指标的计算方法，然后介绍了PyTorch中scatter函数的使用方法，借助该函数实现了对Precision、Recall、F1及正确率的计算，并对实现过程进行了解释。 观前提示：阅读本文需要你对机器学习与PyTorch框架具有一定的了解。 Tips：如果你只是想利用PyTo
YOLOv10性能评估指标-＞mAP、Precision、Recall、FPS、IoU
Snu77的博客
07-13 1268
这篇博客，主要给大家讲解我们在训练yolov10时生成的结果文件中各个图片及其中指标的含义，帮助大家更深入的理解，以及我们在评估模型时和发表论文时主要关注的参数有那些。本文通过举例训练过程中的某一时间的结果来帮助大家理解，大家阅读过程中如有任何问题可以在评论区提问出来，我会帮助大家解答。首先我们来看一个在一次训练完成之后都能生成多少个文件如下图所示，下面的文章讲解都会围绕这个结果文件来介绍。二、评估用的数据集。
【yolov3】【2】yolov3-spp结构详解与源码解析（pytorch）
yjyjjyjy1231的博客
09-18 1万+
yolov3-spp是yolov3的一个版本，在yolo官网中给出了cfg和weights。 本文调试源码为ultralytics/yolov3，参考博客为yolo系列之yolo v3【深度解析】 目录 文章目录结构详解源码解析数据预处理和加载前向传播计算loss后续 结构详解 参考yolo系列之yolo v3【深度解析】。对照这一博客中的网络结构图，将cfg文件print出来，分析了一下，如下...
WIN10 +pytorch版yolov3训练自己数据集
python深度学习笔记,一起学习的加QQ2737499951
05-17 1万+
pytorch版yolov3训练自己数据集 目录 1. 环境搭建 2. 数据集构建 3. 训练模型 4. 测试模型 5. 评估模型 6. 可视化 7. 高级进阶-网络结构更改 1. 环境搭建 将github库download下来。 git clone https://github.com/ultralytics/yolov3.git 建议在linux环境下使用anaconda...
pytorch_yolov3实验记录
gb9999的博客
06-28 565
pytorch_yolov3实验记录安装git项目配置coco数据集修改data/coco2014.data文件模型测试输出测试结果展示小结 安装 环境介绍 Ubuntu18.04 Anaconda Python 3.7.7 GCC 7.3.0 torch 1.5 pycocotools 2.0 *必须使用numpy ==1.17.5 GPU 2070S 8G pip install -r requirements.txt git项目 git clone https://github
yolo,mAP, F1值, 召回率（Recall），精确率（Precision），(TP,TN,FP,FN)，交除并（Intersection-over-Union（IoU））
分享计算机视觉，C++，网络摄像头研发，音视频开发，嵌入式等知识。
03-19 8382
mAP 平均精度(mAP)是一个度量标准，用于评估对象检测模型，如Fast R-CNN, YOLO, Mask R-CNN等。 mAP formula is based on the following sub metrics（mAP公式基于以下子度量）: Confusion Matrix, Intersection over Union(IoU), Recall, Precision confusion matrix TP: True：表示预测正确，Positives表示预测的结果是正。说明使用的是
Keras-yolo3下计算mAP目标检测精确度（IOU,AP,precision,recall)，史上最全！！附实现代码！！
05-20 6780
目录知识储备1、IOU的概念2、TP TN FP FN的概念3、precision（精确度）和recall（召回率）4、概念举例5、单个指标的局限性什么是AP什么是MAP绘制mAP1 下载mAP压缩包2 images-optional文件夹3 ground_truth文件夹3.1 将xml导入到ground_truth文件夹3.2 将xml转成txt文件4 detection-results文件夹...
【YOLO学习】召回率（Recall），精确率（Precision），平均正确率（Average_precision(AP) ），交除并（Intersection-over-Union（IoU））
热门推荐
Joe_quan的博客
01-05 10万+
在训练YOLO v2的过程中，系统会显示出一些评价训练效果的指标，包括Recall，IoU等等。为了怕以后忘了，现在把自己的理解记录一下。这一文章首先假设一个测试集，然后围绕这一测试集来介绍这几种指标的计算方式。
深度学习模型评估指标（区分二元分类和多分类 含YOLO源码分析）：accuracy、precision、recall
北溟客的博客
06-25 3161
深度学习模型评估指标：accuracy、precision、recall1. 准确率（accuracy）、精确率（precision）、召回率（recall）1.1基本概念1.2二元分类模型的定义1.3多分类模型的定义1.4举例说明1.5 YOLOv3中recall的计算2. 关于精确率和召回率的关系 1. 准确率（accuracy）、精确率（precision）、召回率（recall） 1.1基本概念 准确率（accuracy）、精确率（precision）、召回率（recall）三个指标的定义是有一定条
秒懂Precision精确率、Recall召回率-附代码和案例
阿利同学的博客
01-18 1709
秒懂Precision精确率、Recall召回率-附代码和案例。presion精度，召回率recall一文秒懂！
计算recall和precision以及map代码
05-31
以下是计算recall、precision和map的Python代码： ```python def recall(actual, predicted): true_positives = len(set(actual) & set(predicted)) false_negatives = len(actual) - true_positives return true_positives / (true_positives + false_negatives) def precision(actual, predicted): true_positives = len(set(actual) & set(predicted)) false_positives = len(predicted) - true_positives return true_positives / (true_positives + false_positives) def average_precision(actual, predicted): score = 0.0 hits = 0.0 for i, p in enumerate(predicted): if p in actual and p not in predicted[:i]: hits += 1.0 score += hits / (i+1.0) if hits == 0.0: return 0.0 return score / hits def mean_average_precision(actual, predicted): return np.mean([average_precision(a, p) for a, p in zip(actual, predicted)]) ``` 其中，`actual`和`predicted`都是列表类型，分别表示实际值和预测值。`recall`和`precision`分别计算召回率和精确率，`average_precision`计算平均精度，`mean_average_precision`计算平均平均精度。
评论 8
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值