PR curve, AP, mAP, AUC, f1-score ??

已于 2022-10-10 11:26:44 修改
阅读量1.6k 收藏 14
点赞数
分类专栏： 视觉算法 文章标签： 机器学习 算法 人工智能 深度学习
于 2021-08-22 15:58:52 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/lyyiangang/article/details/119830526
版权

不同检测网络的性能好坏我们经常使用AP来表示， AP越高表示网络的学习能力越好。那么什么是AP呢？ mAP又是什么？ AUC又是啥？这里简单做下汇总。

  • True positive(TP)
    检测正确， iou>=threshold

  • False positive(FP)
    检测错误， iou < threshold

  • False Negative(FN)
    漏检， 目标没有被检测到。

  • True Negative (TN)
    意思为正确的漏检， 也就是说， 不是检测目标的地方没有被检测出来， 对于检测网络来说，这个指标没有用。
    在这里插入图片描述

有了以上基础，那么就有了precision和recall的概念。

  • Accuracy

    accuracy = 预测对的/所有 = (TP+TN)/(TP+FN+FP+TN)

  • Precision
    在这里插入图片描述

  • Recall
    在这里插入图片描述
    如果把Precision和Recall分别作为y和x， 那么可以画在一张图上。
    在这里插入图片描述
    对于不同的detector可以画一个不同的曲线，那么怎么比较两个曲线哪个好呢？ 那么怎么用一个数字就能看出检测的好坏呢？ 这是就要考虑AUC（曲线下面积）， 对于PR曲线来说， 曲线下的面积称为AP。

  • TPR和FPR
    在这里插入图片描述
    TPR和FPR计算参考上图

  • ROC 曲线

对于不同的阈值, 我们可以算出不同fp,tp等数值,对应的tpr和fpr也可以得到, 那么把tpr和fpr放在一个坐标系下可以画出下面这张图, 曲线下的面积可以表示出一个模型的性能好坏.在这里插入图片描述

实现代码可以参考sklearn.metrics.roc_curve.

  • AP计算

下面开始尝试手动计算AP， 对于一个数据集图片总数为5, 总gt bbox个数有15个，用红框表示预测框， 绿色表示gt框。如下图：
在这里插入图片描述
下面将所有检测框分类为tp和fp， 分类的标准是IOU > threshold, 比如上面的AP50，指的就是这个threshold=50%. 这个例子中，我们使用threshold=30%, 也就是说iou>30%就认为是tp。但是也有一个特例， 比如一个gt box有多个预测框与其iou都大于30%， 那么只有第一个预测框为tp， 剩下的都是fp(参考了VOC 2012 metric计算要求)。按照这么个规则区分tp和fp，我们可以得到下面一个表格。
在这里插入图片描述
接下来按照confidence排序，则有：
在这里插入图片描述
可以看出precision和recall递减，一个递增， 画出来如下：
在这里插入图片描述
至此，我们就得到了一个PR curve， 这种犬牙交错的曲线算AP有两种方法。11点插值法 和 所有点插值法

  • 11点插值法
    故名思意， 从[0, 1]之间均匀采样11点， 用这11个点的precision均值作为ap。
    在这里插入图片描述
    如图， 红色点为采样点，采样点基本不会刚好落在真实的pr曲线上， 那么采样点的precision就取pr曲线上最近的precision值。

  • 所有点插值法
    在这里插入图片描述
    如上上， 算出红色曲线下的面积即为AP。

所以，算AP的总过程为：

  1. 所有预测框按照iou 阈值分为tp和fp
  2. 将预测框按照confidence排序，计算出不同confidence下的precision和recall
  3. 按照11点或者全部点插值算法计算出AP。
    论文里经常看到AP50, AP75, APs, APm, APl的等值， 他们是什么意思呢？

  • AP50
    iou 阈值大于0.5时AP值

  • AP75
    iou阈值大于0.75时的AP值

  • APs
    像素面积小于32*32目标框的AP值

  • APm
    像素面积小于32*32 ~96 * 96之间目标框的AP值

  • APl
    像素面积大于96*96的目标框 AP值

  • mAP
    一般AP是指单个类下，mAP则是所有类别AP的平均。

f score

f s c o r e = ( 1 + β 2 ) ∗ P ∗ R / ( β 2 ∗ P + R ) fscore=(1+ β^2)*P*R/(β^2*P + R) fscore=(1+β2)∗P∗R/(β2∗P+R)
β为1即为f1score, 表示P和R一样重要.

参考资料：https://github.com/rafaelpadilla/Object-Detection-Metrics

lyyiangang
关注
专栏目录
【模型评估】Python混淆矩阵、FP、FN、TP、TN、ROC、FROC、mAP、Precision、Recall、Accuracy、F1 score详述与实现
钱多多先森
08-14 4万+
深度学习中，模型评估常用的指标、实现算法汇总。后续还会有几个章节，对其中的各个小点进行详述
万字长文精解目标检测中的TP、FP、FN、TN、Precision、Recall 、 F1 Score、AP、mAP与AR 。附代码实现。
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-16 5424
mAP（Mean Average Precision）是用于评估对象检测和信息检索系统性能的重要指标。它综合考虑了检测结果的精确度（Precision）和召回率（Recall），提供了一个整体的性能评价。你是否见过下面的表格？这是COCO版本的mAP（即平均精度，他们简称之为AP）。但这个指标到底代表什么呢？这些符号又都代表什么含义呢？在本文中，我们将详细讲解所有必要的理论知识，不仅帮助你解读表格中的数据，还能让你理解采用这种复杂指标的必要性。
PRcurve
weixin_30721077的博客
01-24 164
https://blog.csdn.net/qq_33350808/article/details/83178002 问题:删掉pkl 转载于:https://www.cnblogs.com/nanzhao/p/10316098.html
AP、mAP、F1 Score、PR曲线、ROC曲线
mathnan的专栏
03-19 2917
1. 基础概念 混淆矩阵： 通过研究该混淆矩阵，可以构造如下几个指标： (1) Accuracy(准确度)： 意义：用于同时衡量分类器对于正负样本的分类正确性。 不足：当测试样本不平衡时，该指标会失去意义。例如：100个样本中负样本占有98个，那么分类器只需将所有样本分为负类即可达到98%的准确度。 公式：accuracy=TP+FNTP+FN+FP+TNaccuracy = \frac{TP + FN}{TP+FN+FP+TN}accuracy=TP+FN+FP+TNTP+FN​ (2) Prece
PR曲线（Precision-Recall Curve，精确率-召回率曲线）
weixin_44012667的博客
06-26 2016
PR曲线（Precision-Recall Curve，精确率-召回率曲线）是一种用于评估二分类模型性能的工具，特别适用于不平衡数据集。PR曲线通过绘制精确率（Precision）与召回率（Recall）之间的关系，展示模型在不同决策阈值下的表现。
PR-curve（precision-recall curve）object detection
walker_zero的博客
06-25 1411
最近在对目标检测中的PR曲线做程序实现，发现网上有很多的版本，而且引用https://www.zhihu.com/question/53405779中的一些内容，网上很多的程序在绘制PR曲线中存在一些问题。 使用python+matplotlib 绘制PR曲线的代码应该如下：（其中出现争议的部分是ax.plot(x,y)）根据PR曲线，x轴为Recall， y轴为Precision。网上有些代码是反过来的。从matplotlib的源码中很容易可以发现是错误的。 import matplotlib...
机器学习指标(Precision、Recall、mAP、F1 Score等)
林学森的技术专栏
04-26 4686
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) ———————————————— 版权声明：本文为CSDN博主「林学森」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.cs.
目标检测模型的评价标准-AP与mAP
专注计算机视觉算法训练，算法优化部署以及SDK开发的知识分享。
09-08 1607
为了了解模型的泛化能力，即判断模型的好坏，我们需要用某个指标来衡量，有了评价指标，就可以对比不同模型的优劣，并通过这个指标来进一步调参优化模型。对于分类和回归两类监督模型，分别有各自的评判标准，目标检测模型评价指标主要包含 f1、ap、map、roc计算公式及代码实现与auc曲线绘制等。
目标检测评价指标（含 mAP、F-measure、FPS）
热门推荐
dexterod的博客
04-30 2万+
写在前面的话 无论是目标检索、分类、还是检测，都有其自身的一套评价指标体系。可能其中很多概念很类似，比如精确度、召回率。但其实内涵还是有些不一样的。身为一个已经搞了一年图像目标检测的后进者，直到现在才发现，之前我以为轻松搞懂的评价标准，其实是错误的。今天特就自己翻阅的资料做一个汇总，不敢保证对，但至少修正了一部分自以为是的思想。 在网上之前看到的很多打着目标检测评价指标的博文，其实只是对分类做的评...
PR曲线和ROC
LeeWei
11-20 581
ROC曲线（Receiver Operating Characteeristic Curve）是显示Classification模型真正率和假正率之间折中的一种图形化方法。  解读ROC图的一些概念定义:：  真正（True Positive , TP）被模型预测为正的正样本  假负（False Negative , FN）被模型预测为负的正样本  假正（False Positiv
深度学习中准确率、精确率、召回率、误报率、漏报率、F1-Score、AP&mAP、ROC曲线、AUC、MAE、MAPE、MSE、RMSE、R-Squared等指标的解释说明
yueguang8的博客
03-20 5074
在深度学习学习中，有许多常用的评估指标用于衡量模型的性能。下面是一些常见的指标及其定义和说明。关键名字解释：TP表示真正例（True Positive），即模型正确预测为正例的样本数量；TN表示真负例（True Negative），即模型正确预测为负例的样本数量；FP表示假正例（False Positive），即模型错误地将负例预测为正例的样本数量；FN表示假负例（False Negative），即模型错误地将正例预测为负例的样本数量。
终于搞懂了PR曲线
yfor1008
08-29 3539
PR(Precision Recall)曲线 问题 最近项目中遇到一个比较有意思的问题, 如下所示为: 图中的PR曲线很奇怪, 左边从1突然变到0. PR源码分析 为了搞清楚这个问题, 对源码进行了分析. 如下所示为上图对应的代码: from sklearn.metrics import precision_recall_curve import matplotlib.pyplot as plt score = np.array([0.9, 0.8, 0.7, 0.6, 0.3, 0.2, 0.1])
绘制PR曲线
tzwsg的博客
07-29 5730
一、 获取txt文件 运行darknet官方代码中的darknet detector valid data cfg weight指令（例如: darknet.exe detector valid data/koujian/koujian.data cfg/yolov3-tiny11.cfg backup/yolov3-tiny11_last.weights），可以在result/目录下得到网络检测的输出txt文件：包括检测的图像名字、类别、概率、边界框位置（左上角和右下角）: 二.新建两个文件： rev
mAP，PR-curve解释及计算等
以梦为马，不日抵达。
08-31 1781
通过不断调整置信度阈值（就是当这个值越高，我们就越相信它判断得正确）来使我们R有不同的取值，然后再算在这个R下P的值，形成一个PR曲线图。对于yolov5来说NMS的置信度值就是这个值。: 指的是当IOU阈值分别取（0.5:0.05: 0.95）时，所有得出来的mAP取平均值。mean Average Precision，每个类的AP值的平均数。算出P-R曲线下面的面积，就是我们的AP值。：指的是当IOU阈值=0.5时，mAP是多少。IOU越大，则说明预测的位置越准确。预测正确的/所有应该预测正确的。...
ROC Curve, PR Curve and AUC
脚踏实地
08-23 5977
评价一个二分类模型的好坏有一些常见的标准。 真实值有两个取值：P和N，分别表示正样本和负样本。 假设值有两个取值：Y和N，同上。 首先统计下表作基础： p      n Y   TP    FP N   FN    TN 接下来的统计结果要建立在上述4个变量之上 ROC曲线： 横轴为FPR，纵轴为TPR。FPR=FP/N，TPR=TP/N，N表示总样本数。 绘制出曲线应该在y=
ROC曲线、PR曲线（笔记整理）
散修炼丹师手记
11-20 1206
简介： ROC曲线和PR曲线是机器学习中两个常见的评估指标（对于二分器而言），做个笔记… 原理： 在二分类问题中，分类器将一个实例的分类标记为是或否，这可以用一个混淆矩阵来表示。混淆矩阵有四个分类，如下表： TP（True Positive）：指正确分类的正样本数，即预测为正样本，实际也是正样本。 FP（False Positive）：指被错误的标记为正样本的负样本数，即实际为负样本而被预测为正样本，所以是False。 TN（True Negative）：指正确分类的负样本数，即预测为负样本，实际也是负样
机器学习：PR曲线和ROC曲线
zs_id的博客
10-23 382
在机器学习中，我们经常使用PR曲线（Precision-Recall Curve）和ROC曲线（Receiver Operating Characteristic Curve）来评估模型的性能。这两种曲线都可以提供有关分类器性能的重要信息。其实PR曲线和ROC曲线的选择还是要根据实际情况做出选择，当正负样本比例相近时，ROC曲线通常能够给出稳健的性能评估，。当正负样本比例严重不平衡时，PR曲线通常更为实用。
机器学习实验三之——ROC与PR曲线
m0_63916929的博客
10-23 5983
ROC曲线（Receiver Operating Characteristic Curve）是用来评估二分类模型性能的一种常见方法。它是基于分类模型对不同阈值下的预测结果进行排序，并计算真正率（True Positive Rate，即召回率）和假正率（False Positive Rate）之间的关系而得到的曲线。真正率指分类器在所有实际为正例中正确预测为正例的比例，可以通过以下公式计算： 真正率 = TP / (TP + FN)
机器学习——性能度量（PR曲线和ROC曲线）
m0_70744324的博客
10-11 2393
性能度量：衡量模型泛化能力的评价标准（反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果。模型的好坏，不仅取决于算法和数据，还决定于任务需求。P为precision即精准率（查准率），R为recall即召回率，所以P-R曲线是反映了准确率与召回率之间的关系。一般横坐标为recall，纵坐标为precision。ROC全称Receiver Operating Characteristic，即受试者工作特征，坐标图式的分析工具。
机器学习输出模型AUC、准确度、精确度、召回率、F1-score的代码
最新发布
09-10
在机器学习中，评估模型性能常用的指标包括AUC、准确度（Accuracy）、精确度（Precision）、召回率（Recall）和F1-score。以下是使用Python中的`sklearn`库计算这些指标的一个简单示例： 首先，你需要有一个训练好的机器学习模型，并对其做预测，得到预测结果和真实的标签。然后，使用`sklearn.metrics`中的相关函数来计算这些性能指标。 ```python from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score from sklearn.metrics import confusion_matrix # 假设 y_true 是真实的标签数组，y_pred 是模型预测的标签数组，y_pred_proba 是模型预测的概率数组（对于二分类问题） y_true = [...] # 真实标签 y_pred = [...] # 模型预测的标签 y_pred_proba = [...] # 模型预测的概率 # 准确度（Accuracy） accuracy = accuracy_score(y_true, y_pred) print(f'准确度: {accuracy}') # 精确度（Precision） precision = precision_score(y_true, y_pred) print(f'精确度: {precision}') # 召回率（Recall） recall = recall_score(y_true, y_pred) print(f'召回率: {recall}') # F1-score f1 = f1_score(y_true, y_pred) print(f'F1-score: {f1}') # AUC (Area Under the Curve) # 注意：AUC只能应用于二分类问题的ROC曲线 if len(np.unique(y_true)) == 2: # 确保标签只有两个类别 auc = roc_auc_score(y_true, y_pred_proba) print(f'AUC: {auc}') ``` 请确保你已经安装了`sklearn`库，并且你的`y_true`和`y_pred`是适当格式的数组或列表，`y_pred_proba`是一个包含概率值的数组。对于二分类问题，`y_pred_proba`应该是一个二维数组，其中每一行对应一个样本，每一列对应一个类别的预测概率。 在多分类问题中，`precision_score`、`recall_score`和`f1_score`函数默认计算所有类别的加权平均值。你也可以通过设置参数`average=None`来得到一个针对每个类别的性能指标列表。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值