ROC曲线和PR曲线,AP,mAP

最新推荐文章于 2024-04-23 14:45:51 发布
最新推荐文章于 2024-04-23 14:45:51 发布
阅读量4.6k 收藏 22
点赞数 4
分类专栏： 深度学习 文章标签： ROC曲线 PR曲线 AP mAP
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hotboyboy/article/details/89138169
版权
本文详细介绍了ROC曲线和PR曲线在两类分类任务中的应用，包括TPR、FPR、Precision和Recall等概念。ROC曲线评估分类器性能，AUC作为衡量标准。PR曲线适用于稀有事件检测，更关注正样本的召回和精度。AP（Average Precision）考虑了结果排序，而mAP是多个类别AP的平均，常用于物体检测性能评估。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

ROC曲线

对于两类分类任务，y的值可以为1或0，为1时称为正样本（positive），在医学上称为阳，为0时称为负样本（False），在医学上称为阴。
在这里插入图片描述
TP：y的值为1，y^为1，预测值和真值都为1，称为true positive
TN：y的值为0，y^为0，预测值和真值都为0，称为true negtive
FP：y的值为0，y^为1，预测值为1，,真值为0，称为false positive
FN：y的值为1，y^为0，预测值为0，真值都为1，称为false negtive
N+：总样本中正样本的数目
N-：总样本中负样本的数目
N+^：预测结果中有多少预测为正样本的数目
N-^：预测结果中有多少预测为负样本的数目
在这里插入图片描述
Precison=TP/N+^, 精度、准确率：预测结果为真的样本中真正为真的比例
TPR/Recall=TP/N+ 召回率：预测结果召回了多少真正的真样本
真阳率：有多少真正的正样本被预测为真。
FPR=FP/N_ 假阳率：预测结果中将多少假的样本预测成了真的
F1分数：Precision和Recall调和平均值
F1=2（Prescision*Recall）/(Precison+Recall)

Matthews相关系数用一个值综合混淆矩阵，度量真是值与预测值之间的相关性，定位为：
MCC=(TPTN-FPFN)/sqrt((TP+FP)(TP+FN)(TN+FP)(TN+FN))
分母中任意一对括号相加之和如果为0，那么整个MCC的值就为0
MCC的值在[-1， 1]之间
1：分类器是完美的
0：分类器是随机分类器
-1： 分类器是最差的，所有预测结果和实际相反
在这里插入图片描述

在这里插入图片描述

上面我们讨论给定阈值τ的TPR（真阳率）和FPR（假阳率）

  • 如果不是只考虑一个阈值t，而是在一些列阈值上运行检测器，并画出TPR和FPR为阈值t的隐式函数，得到ROC曲线。
    在这里插入图片描述

例：根据文章特征?（文章长度、作者的数目、作者之前投递给该杂志的文章数据、…），判断该文章是否会杂志被接收。

  • 测试样本数目：500，其中250篇被接收（红色），250被拒绝（蓝色）。
  • 现有一个分类器1，给定文章特征，输出该文章被接收的概率。下图为分类器1输出的被接收概率概率对应的正样本数目和负样本数目。
    在这里插入图片描述

假设取阈值为概率阈值0.5: 判断140篇文章被拒绝，360篇文章被接收。线右边共有235个红色样本，125个被接受，10个被拒绝， ??? = 235/250 = 0.94，??? =125/250 = 0.5 ，对应ROC曲线上的点?, ? （(0.5，0.94) 。

  • 假设取阈值为概率阈值0.8: 判断50篇文章被接收，450篇被拒绝。线的右边有50个红色样本，线的右边有0个蓝色样本均接收， ??? = mGkmG ，??? = 0，对应ROC曲线上的点?, ? = (0, 0.2)。

现有一个分类器2，给定文章特征，输出该文章被接收的概率。下图为分类器2输出的被接收概率对应的正样本数目和负样本数。
在这里插入图片描述

  • 假设取阈值为概率阈值0.6: 线的右边有200个红色样本，线的右边有0个蓝色样本， ??? =200/250 =0.8，??? = 0，对应ROC曲线上的点?, ? =(0, 0.8)。

特征：

  • ROC曲线越偏左上角表示分类器性能越好。
  • AUC （Area Under Curve）：ROC曲线下的面积，取值在[0.5,1.0]，0.5表示随机猜测分类器，1表示完美分类器。
  • ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。

PR曲线

Precision and Recall (PR曲线)：用于稀有事件检测，如目标检测、信息检索、推荐系统。

  • 负样本非常多（?_很大），因此??? = ??⁄?_很小，比较TPR和FPR没有太大意义（ROC曲线中只有左边很小一部分有意义）

只讨论正样本（N+,N+^）
Precision and Recall (PR曲线)：阈值变化时的P和R。

  • Precison=TP/N+^, 精度、准确率：预测结果为真的样本中真正为真的比例
  • TPR/Recall=TP/N+ 召回率：预测结果召回了多少真正的真样本
    在这里插入图片描述
    特征：
    PR曲线越往往右上角越好。

AP

  • Precision只考虑了返回结果中相关文档的数目，没有考虑文档之间的顺序。
  • 对一个搜索引擎或推荐系统而言，返回的结果是有序的，且越相关的文档越靠前越好，于是有了AP（ Average Precision ）的概念。
  • AP: 对不同召回率点上的精度进行平均：
    在这里插入图片描述

mAP

平均AP（Mean Average Percision, mAP）：多个AP的平均
• 物体检测中经常用mAP评价模型性能：多个物体类别的AP的平均

机器学习理论之mAP 查全率 查准率 IoU ROC PR曲线 F1值
学习中
10-31 473
机器学习理论之mAP 查全率 查准率 IoU ROC PR曲线 F1值
第二十三章 解析PR曲线、ROC曲线、AUC、AP(工具)
专注于人工智能学习，总结
11-26 1060
混淆矩阵是机器学习中总结分类模型预测结果的情形分析表，以矩阵形式将数据集中的记录按照真实的类别与分类模型预测的类别判断两个标准进行汇总。刚才分析的是二分类问题，那么对于多分类问题，混淆矩阵表示的含义也基本相同，这里我们以三类问题为例，看看如何根据混淆矩阵计算各指标值。与二分类混淆矩阵一样，矩阵行数据相加是真实值类别数，列数据相加是分类后的类别数，那么相应的就有以下计算公式;
信息检索（IR）的评价指标介绍 - 准确率、召回率、F1、mAP、ROC、AUC
wzy的博客
12-19 1万+
reference：http://blog.csdn.NET/marising/article/details/6543943 在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。 准确率、召回率、F1 信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision R
P-R曲线与mAP
许进进的博客
06-04 7328
reference：http://blog.csdn.NET/marising/article/details/6543943 在信息检索、分类体系中，有一系列的指标，搞清楚这些指标对于评价检索和分类性能非常重要，因此最近根据网友的博客做了一个汇总。 准确率、召回率、F1 信息检索、分类、识别、翻译等领域两个最基本指标是召回率(Recall Rate)和准确率(Precision Rate)，...
目标检测中PR曲线和mAP
weixin_43869938的博客
10-12 1万+
1. 基本概念 （1）交并比 - Intersection Over Union (IOU) 交并比（IOU）是度量两个检测框（对于目标检测来说）的交叠程度，公式如下： B_gt 代表的是目标实际的边框（Ground Truth，GT），B_p 代表的是预测的边框，通过计算这两者的 IOU，可以判断预测的检测框是否符合条件，IOU 用图片展示如下： （2）TP、FP、FN、TN True Positive (TP): IoU>IOUthresholdIOU_{threshold}IOUthre
PR曲线
qq_39114535的博客
03-19 3727
指标 Precision查准率。 Recall查全率。​​​ mAP和IOU以及置信度阈值关系 TP: IoU>0.5的检测框数量（同一Ground Truth只计算一次） FP: IoU<=0.5的检测框，或者是检测到同一个GT的多余检测框的数量 增加置信度阈值，我们会对预测值更有信心，即增加了查准率。但这样会降低查全率。（High Precision, Low Recall） 减小置信度阈值，则模型放过的真例就变少，查全率就增加。（Low Precision, High Recall） 进而
ROC曲线及PR曲线
qq_62541359的博客
10-23 1134
跟TPR和FPR不一样的是，在PR关系中，是一个此消彼长的关系，但往往我们希望二者都是越高越好，所以PR曲线是右上凸效果越好（也有例外，有比如在风险场景当预测为1实际为0时需要赔付时，大致会要求Recall接近100%，可以损失Precision）。绘制图线同样的道理，我们要产生随机的概率，表示每个样本例子为正例的概率，然后通过这些概率进行从大到小的排序，再按此顺序逐个样本的选择阈值，大于阈值的概率的样例为正例，后面的全部为反例。ROC曲线和PR曲线的形状和性能评估指标是相关的，但并不完全相同。
用于yolo计算mAP和PR曲线使用
10-19
标题中的“用于yolo计算mAP和PR曲线使用”表明，这个压缩包包含的资源是专门为YOLO（You Only Look Once）目标检测算法设计的，目的是为了评估模型的性能。YOLO是一种实时的物体检测系统，它在图像识别领域有着广泛...
PR曲线、ROC曲线、AUC、AP简单梳理
weixin_42926836的博客
08-28 6845
是不是对一堆PR曲线、ROC曲线、AUC、AP傻傻分不清楚？是不是学完就忘忘了又学？希望这篇文章能帮你梳理清楚一坨乱麻。 1、混淆矩阵 每次在重温理解AUC、PR曲线、ROC曲线的时候，第一步就是在纸上画出来这个混淆矩阵，方便后序进阶。 预测/真实 1（Postive） 0（Negative） 1 (Postive) TP（True Postive:真阳） FP (False Postive:假阳) 0 (Negative FN (False Negative:假阴) TN (True
机器学习之---PR曲线和ROC曲线
weixin_39873397的博客
03-18 1122
1.混淆矩阵 对于二分类问题，可将样例根据其真实类别与学习期预测类别的组合划分为真正例(True Positive),假正例(False Positive)，真反例(True Negative)，假反例(False Negative)四种情形，四种情形组成的混淆矩阵如下： 真实值 预测值 正例 负例 正例 TP FN 负例 FP TN 2. ...
mAP及PR曲线
wanjucan7729的博客
01-14 418
mAP数据
目标检测评价指标（mAP、P-R曲线、IOU）超好理解
CSSDCC的博客
05-06 1822
目标检测评价指标（mAP、P-R曲线、IOU）一、mAP如何去理解？尝试理解precision准确率（第一列）recall召回率（第一行）P-R曲线二、IOU（交并比） 一、mAP 真实情况 预测为正 预测为反 recall召回率 正 TP FN R = TP / (TP + FN) 反 FP TN precision准确率 P = TP / (TP + FP) 如何去理解？ 这四个字母看着真头晕，就算看博客当时理解了，过一会儿就忘了，所以决定整理一下，用特殊的方法记住他！
目标检测Object Detection下的P-R曲线，AP，mAP，AUC，ROC曲线详解
catscanner的博客
12-22 9447
目录P-R曲线APmAP P-R曲线 上篇文章我们详细说了一下Detection中的Recall和Precision的计算，P-R曲线就是Precision和Recall画出的曲线。 AP mAP
模型评价指标，ROC曲线是怎么画的？？mAP怎么得到？？PR曲线
Hello Word!
03-08 809
TPR=1，FPR=0，所有应该预测为正的都预测为正了（错误预测为负FN的为0，即所有预测为负的都是正确预测为负，都是TN），所有不应该预测为正的都没有预测为正（错误预测为正的FP为0，即所有预测为正的都是正确预测为正，都是TP）。能尽量降低不同测试集带来的干扰，更加客观地衡量模型的性能。AUC的物理意义：反映分类器对样本的排序能力，曲线一般在对角线上方，所以TPR>FPR，正确预测为正的概率 大于 错误预测为正的 概率，AUC越大表明：分类器越可能把真正的正样本排在前面（预测概率越大），分类性能越好。
目标检测的mAP、PR指标含义
xw2017的博客
04-23 852
精确率（Precision）表示预测为正样本中真正是正样本的比率，召回率（Recall）表示实际正样本中真正是正样本的比率。表示在不同IoU阈值（从0.5到0.95，步长0.05）（0.5、0.55、0.6、0.65、0.7、0.75、0.8、0.85、0.9、0.95）上的平均mAP。将IoU设为0.5时（大于设定阈值才认为预测正确），计算每一类所有图片的AP，然后所有类别求平均，即mAP。两个算法模型都能成功预测图片中出现的细胞，并且每个bbox都标注一个类别，每个类别还有相应的置信度。
PR,AP,mAP
FrankDura的博客
03-08 646
首先是PR曲线: Precision-Recall曲线 基本定义: precision和recall的含义， preicision是在你认为（模型预测的）的正样本中， 有多大比例真的是正样本， recall则是在真正的正样本中， 有多少被你找到了（预测对了）。 问题核心: 我们需要一个对于score的threshold, 为什么呢? 比如在一个bounding box里， 我识别出来鸭子的s...
MAP(Mean Average Precision)
青木宫的博客
08-25 911
关于MAP，网上找了很多，都找不到自己需要看的，这篇文章写的不错，转载一下 目录 一、mAP相关概念 1、正例与负例 2、P（精确率） 3、R（召回率） 4、ACC（准确率） 5、AP（平均精确度） 6、示例 二、mAP 1、mAP简介 2、P—R曲线 学习深度学习，总会有各种各样的概念，对于刚入门...
伯努利贝叶斯分类器的应用
MrChen26795的博客
12-15 1229
伯努利贝叶斯分类器的应用   用户对其购买的蚊帐进行评论，该数据集是通过爬虫的方式获得，一共包含10644条评论，数据集中的Type变量为评论者所对应的情绪。首先将爬虫获得的数据集读入Python中，并预览前几行数据，代码如下： # 读入评论数据 evaluation = pd.read_excel('datasource/Contents.xlsx') # 查看数据的前10行,见表1 evaluation.head(10) 如表1所示，数据集包含4个字段，分别为用户昵称、评价时间、评价内容和对应的评
机器学习中的PR曲线和ROC曲线
热门推荐
沉心修炼
12-06 4万+
主要是我对周志华《机器学习》第二章模型估计与选择中一些内容的总结
yolov8评价曲线图汇总
最新发布
02-07
### YOLOv8 模型评估中的曲线图汇总 在目标检测任务中，YOLOv8 使用多种评估指标来衡量模型性能。这些评估指标通常通过绘制不同类型的曲线来进行可视化分析。以下是几种常见的用于展示 YOLOv8 性能的曲线图表： #### 1. PR 曲线 (Precision-Recall Curve) PR 曲线展示了精确率(Precision) 和召回率(Recall)之间的关系，在不同的置信度阈值下计算得出。这条曲线有助于理解模型在不同决策边界下的表现[^1]。 ```python import matplotlib.pyplot as plt def plot_pr_curve(precisions, recalls): plt.figure(figsize=(8, 6)) plt.plot(recalls, precisions, marker='.') plt.xlabel('Recall') plt.ylabel('Precision') plt.title('Precision vs Recall curve') plt.grid(True) plt.show() ``` #### 2. ROC 曲线 (Receiver Operating Characteristic Curve) ROC 曲线显示了真正类率(TPR) 对假正类率(FPR)，同样是在变化分类器工作点的情况下获得的一系列点组成的轨迹。AUC(Area Under the Curve) 是该曲线下面积的一个量化评价标准。 ```python from sklearn.metrics import roc_curve, auc fpr, tpr, _ = roc_curve(y_true, y_scores) roc_auc = auc(fpr, tpr) plt.figure(figsize=(8, 6)) plt.plot(fpr, tpr, color='darkorange', lw=2, label=f'ROC curve (area = {roc_auc:.2f})') plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver operating characteristic example') plt.legend(loc="lower right") plt.show() ``` #### 3. mAP@IoU 曲线 (Mean Average Precision at different IoU thresholds) mAP 是指平均精度均值，而 IoU 表示交并比(IoU), 这种方式可以更全面地反映模型对于物体定位准确性的影响。当考虑多个类别时，则会取所有类别的 AP 的算术平均作为最终得分。 ```python def plot_map_iou_curve(iou_thresholds, map_values): plt.figure(figsize=(8, 6)) plt.plot(iou_thresholds, map_values, '-o') plt.xticks(iou_thresholds) plt.xlabel('IOU Threshold') plt.ylabel('mAP Score') plt.title('mAP score across IOU threshold') plt.grid(True) plt.show() ``` 以上三种图形提供了从不同角度审视 YOLOv8 模型性能的方法，帮助研究者更好地理解和优化算法效果。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值