评估指标 -- Precision(查准率), Recall(查全率)和F1 score; PR曲线和mAP; ROC曲线和AUC

最新推荐文章于 2025-02-28 00:03:01 发布
最新推荐文章于 2025-02-28 00:03:01 发布
阅读量3.9k 收藏 12
点赞数 2
分类专栏： 统计学 文章标签： 模型评估
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42561002/article/details/90409951
版权

Precision, Recall 和 F1 score

在这里插入图片描述
Precision – 查准率、精确率
Recall – 查全率、召回率

查准率和查全率是互相影响的，理想情况是希望两者都高，但是一般情况下查准率高、查全率就低，查全率高、查准率就低.
如果是做搜索，那就是保证查全的情况下提升查准率；如果做疾病监测、反垃圾，则是保证查准的条件下，提升查全率。

为了衡量在某一阈值下P和R的综合结果, 采用指标F1 score:
F 1 = 2 ∗ P ∗ R P + R F1 = \frac{2*P*R}{P+R} F1=P+R2∗P∗R​

PR曲线与mAP(mean average precision)

  1. 知乎上关于mAP的解释: mean average precision（MAP）在计算机视觉中是如何计算和应用的？
  2. PR曲线, mAP具体计算过程: 深度学习-目标检测评估指标P-R曲线、AP、mAP
  3. 总结: mAP是为解决P，R，F1 score的单点值局限性的。为了得到一个能够反映全局性能的指标.

因为P, R和F1 score都只能衡量模型在一个固定阈值下的性能, 但一般情况，不同阈值下, 模型会有不同的表现, 把不同阈值下的P, R记录下来, 可以得到一条PR曲线:
在这里插入图片描述
可以看到, 只看F1 score的话, 一开始红色模型不如黑色模型, 但是全局来看, 红色模型的性能比黑色模型要出色.

PR曲线下的面积, 叫做AP(average precision), N个分类类别得到N条PR曲线得到N个AP, 求平均得到mAP(mean average precision).

具体计算过程: (目标检测为例)

  1. 先把所有bbox找出来 并加上confidence
  2. 然后每一类根据confidence从大到小排列
  3. 每一类中每个confidence计算与label对应的IOU, 根据设定的IOU阈值判断是否预测正确
  4. 每一类中每个confidence根据预测正误算出其recall和precision得到每一类的PR曲线, 曲线下的面积为对应该类的average precision
  5. 所有类取mean, 得到对应IOU阈值下的mean average precision, 如mAP50, mAP75等等(YOLO论文中叫AP50, AP75).

ROC曲线和AUC

  1. 对ROC曲线的理解: ROC和CMC曲线的理解
  2. ROC曲线和PR曲线的区别与联系: 检测率，召回率，mAP，ROC
  3. 总结: PR曲线是表现查准率与查全率的变化关系, 适用于检索问题; ROC曲线是表现模型的预测结果中正误的变化关系, 适用于分类问题.
    在这里插入图片描述
    纵轴：真正类率(true postive rate TPR)灵敏度，代表分类器预测的正类中实际正实例占所有正实例的比例, TRP的值越大，说明预测的正类中实际的正类越多 T P R = T P T P + F N TPR = \frac{TP}{TP + FN} TPR=TP+FNTP​横轴：负正类率(false postive rate FPR)特异度，代表分类器预测的正类中实际负实例占所有负实例的比例, FPR的值越大，说明预测的正类中实际的负类越多 F P R = F P F P + T N FPR = \frac{FP}{FP + TN} FPR=FP+TNFP​

ROC曲线的意义:
对模型的预测结果score排序, 然后将预测为正负类的阈值从最大的score开始逐渐减小. 当阈值最大时, TP的数量最少, TPR接近0, 并且此时FP也最少, FPR也接近0. 阈值最大时, 对应坐标为(0, 0).
随着阈值的减小，越来越多的实例被划分为正类，即TP的数量越来越多，FN的数量越来越少，通过计算公式TP/(TP+FN)可以看到，TPR的值趋近于1；同时，当越来越多的实例被划分为正类时，这些正类当中也同样掺杂着真正的负实例，并且随着阈值的减少，TN的数量越来越少，通过计算公式FP/(FP+TN)可以看到，FPR的值趋近于1。因此，阈值最小时，对应坐标为（1，1）.

理想目标：TPR=1，FPR=0,即图中(0,1)点，故ROC曲线越靠拢(0,1)点，越偏离45度对角线越好.

AUC: ROC曲线下的面积, 取值范围在0.5和1之间. 意义是量化比较不同的ROC曲线.

ROC曲线的特性: 当测试集中的正负样本的分布变换的时候(分布不平衡)，ROC曲线能够保持不变.(PR曲线会发生较大变化)

机器学习理论之mAP 查全率 查准率 IoU ROC PR曲线 F1值
学习中
10-31 477
机器学习理论之mAP 查全率 查准率 IoU ROC PR曲线 F1值
模型评价ROC\AUC\查准率\查全率\F-score\混淆矩阵\KS曲线\PR曲线等
小麦粒的Python
08-04 2702
AUC（Area Under Curve）是由ROC（Receiver Operating Characteristic Curve，受试者工作特征曲线）及其曲线下的面积组成，而ROC是由真阳性率和假阳性率绘制而成的曲线，是反映敏感性和特异性连续变量的综合指标，ROC曲线上每个点反映着对同一信号刺激的感受性。混淆矩阵是ROC曲线绘制的基础，返回值是一个误差矩阵，常用来可视化地评估监督学习算法的性能。指标还有查准率、查全率和F-score等
分类模型的评估指标（1）--Accuracy、Precession、Recall、F1score的计算公式
xianghu_5的博客
05-19 2884
机器学习中的分类器指标
查准率（precision，也叫精确率）和查全率（recall，也叫召回率）
npk191954的专栏
09-25 4158
比如极端情况下，我们只搜索出了一个结果，且是精确的，那么Precision就是100%，但是Recall就很低；一般来说，Precision就是检索出来的条目（比如：文档、网页等）有多少是精确的，Recall就是所有精确的条目有多少被检索出来了。3. F值 = 精确率 * 召回率 * 2 / (精确率 + 召回率) （F 值即为精确率和召回率的调和平均值）精确率、召回率和 F 值是在鱼龙混杂的环境中，选出目标的重要评价指标。召回率是指检索出的相关文档数和文档库中所有的相关文档数的比率，衡量的是检索系统的。
如何正确理解mAP、精度、召回率等概念
最新发布
fanhenghui的专栏
02-28 810
平均精度是针对单个类别的评估指标。它通过计算在不同召回率水平下的精度，并对这些精度值进行平均得到。在目标检测任务中，通常需要检测多个类别。mAP 就是对所有类别的平均精度求平均值，计算公式为。，其中（True Positives）表示真正例，即模型正确检测到的目标数量；在理解 mAP 之前，需要先了解精度和召回率这两个基本概念。
详解分类指标Precision，Recall，F1-Score
酒酿小圆子呀～
07-20 6807
在使用机器学习算法的过程中，我们需要对建立的模型进行评估来辨别模型的优劣，下文中主要介绍常见的几种评估指标。以下指标都是对分类问题的评估指标。在二分类任务中，假设只有正类（1）和负类（0）两个类别，True（1）和False（0）分别表示预测结果对或错；Positive（1）和Negative（0）表示预测为正类或负类。这里：True/False代表判断结果是否正确，Positive/Negative代表预测类别结果。
精确度(Precision)、召回率(Recall)和F1_Score
Ling的博客
09-06 1万+
欢迎使用Markdown编辑器写博客 在衡量模型性能好坏时，我们经常用到准确率、召回率和F1评分，再此做记录，以防遗忘。 https://blog.csdn.net/gagalaha/article/details/51327083 Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdow...
深度学习：详谈P(查准率，准确率,Precision)，R(查全率，召回率，Recall)，F1值
qq_41298763的博客
09-18 1939
定义： acc=predict_right_num/predict_num （准确率） P=真正预测准确的数量/预测是准确的数量 （精确率） R=真正预测准确的数量/所有真正好的数量 （召回率） F值是：F(k) = ( 1 + k ) * P * R / ( ( k*k ) * P + R )    注释：k>0 度量了 查全率 对 查准率 的相对重要性。k>1查全率有更大影响；k<1查准率有更大影响。     F(1) = 2 * P * R / ( P + R )
机器学习基础概念：查准率、查全率、ROC、混淆矩阵、F1-Score 机器学习实战：分类器
12-21
本文将深入探讨几个关键概念：查准率（Precision）、查全率（Recall）、ROC曲线、混淆矩阵以及F1-Score，这些都是衡量分类器效能的重要指标。 查准率和查全率是评价二分类问题中模型性能的两个基本指标。查准率...
机器学习性能指标 （accuracy精度， precision查准率准确率，recall查全率召回率，F1值，ROC曲线，PR， AOC）
wulimmya的博客
09-28 3581
文章目录分类任务预备知识准确率 accuracy精确率 precision，也叫查准率召回率 recall，也叫查全率F1值，精确率和召回率的调和均值ROC，用于评价一个分类器的好坏AUC， area under curve,ROC曲线下的面积示例回归任务MAE，平均绝对误差，L1范数损失MSE，平均平方误差，L1范数损失 参考文章1 参考文章2 分类任务 预备知识 混淆矩阵，是一个两行两列的矩阵，由TP, FP, FN, TN组成，对角线上是TP和TN， 即分类正确的，而不再对角线上的都是分类错误的。
机器学习中的查准率（Precision）、查全率（Recall）、F1 度量
sdnuwjw的博客
05-22 2875
最近看论文实验时忘记了 “Recall” 这个评价指标是干什么用的，所有简单地回顾一下，用最简单方法加深一下记忆 首先得先回顾一下分类结果的混淆矩阵，忘记的朋友可以参考我这篇：分类结果的混淆矩阵 查准率（Precision）：P=TPTP+FPP=\frac{TP}{TP+FP}P=TP+FPTP​，【正确的分类样本中的正例个数】与 【所有预测为正例的样本个数】之比，分子好理解，但是分母容易与查...
【计算机视觉 | 目标检测】术语理解3：Precision、Recall、F1-score、mAP、IoU 和 AP
wzk4869的博客
05-19 9094
【计算机视觉 | 目标检测】术语理解3：Precision、Recall、F1-score、mAP、IoU 和 AP
详解精确率 (Precision)召回率 (Recall)F1评分 (F1 Score)
weixin_53765658的博客
05-29 1万+
低召回率，高精确率: 系统过于挑剔，推荐较少的视频，大多数是相关的，但错过了很多相关视频。这导致高精确率但低召回率。高召回率，低精确率: 系统过于宽泛，推荐了很多视频，捕捉了更多的相关视频，但也包括许多不相关的视频。这导致高召回率但低精确率。在这两种情况下，精确率和召回率之间的不平衡导致了低F1评分，突显了需要更好地平衡以实现最佳推荐系统。
性能度量 3 Recall Score 查全率、召回率
xllzuibangla的博客
05-26 737
1、定义 查全率=TP/（TP+FN) 2、代码 from sklearn.metrics import accuracy_score,precision_score,recall_score y_true=[1,1,1,1,1,0,0,0,0,0] y_pred=[0,0,1,1,0,0,0,0,0,0] print('准确率Accuracy Score:',accuracy_score(y_true,y_pred,normalize=True)) print('查准率Precision Sc
准确率、查准率、召回率
VictorLee
09-28 1434
混淆矩阵 True Positive(真正，TP)：将正类预测为正类数 True Negative(真负，TN)：将负类预测为负类数 False Positive(假正，FP)：将负类预测为正类数误报 False Negative(假负，FN)：将正类预测为负类数→漏报 1、 准确率（Accuracy） 定义：就是被分对的样本数除以所有的样本数，通常来说，正确率越高，分类器越好。 Acc=(T...
查全率（Recall）、查准率（Precision）以及综合评价指标（F1-Measure ）
热门推荐
夏日向日葵的专栏
09-11 3万+
 原文转载于： http://www.cnblogs.com/bluepoint2009/archive/2012/09/18/precision-recall-f_measures.html 在信息检索和自然语言处理中经常会使用这些参数，下面简单介绍如下：   准确率与召回率（Precision & Recall） 我们先看下面这张图来加深对概念的理解，
深度学习分类任务中的准确率、精确率（查准率）、召回率（查全率）、F1值、ROC曲线的AUC值，
chumingqian的博客
01-05 5580
其中关于 TP, TN;FP, FN 的解释；其中;注意，此时这里的正样本代表的 是 预测属于某一类别的样本；负样本则代表预测不属于某一类别的样本。举例说来部分仓库， 与此不一致，列代表真实值，行代表预测值，需要阅读代码的时候，通过查看文档确定；
准确率、精确率、召回率、F1-measure
WHS-_-2022的博客
01-23 2649
Accurency、Precision、Call
【机器学习】评价指标 : 准确率，查准率与查全率
一个程序员
12-03 2616
在机器学习中，有几个评价指标，今天专门来介绍一下。之前的学习中主要是看模型，学算法，突然有一天发现，机器学习中的一些基本概念还是有点模糊，导致不知道如何综合评价模型的好坏。 这篇文章主要介绍如下几个知识点： 介绍 正样本 ： 属于某一个类别（真值）的样本 负样本 ： 不属于某一个类别的样本 个人理解，正负样本是相对的，取决于机器学习算法开发者。 我们想计算一下模型的准确率， 不就是拿 (我们模型猜对的数据个数) / (所有的的数据个数) 即 ：（TP + TN） / (ALL) 当然了， 我们希望
Python代码实现机器学习计算模型预测结果的准确率，错误率，查准率，查全率，F1，ROC和AUC曲线
03-10
在Python中，可以使用各种机器学习库和框架来实现模型预测结果的评估指标。以下是一些常用的指标和相应的代码实现示例： 1. 准确率（Accuracy）：预测正确的样本数占总样本数的比例。 ```python from sklearn.metrics import accuracy_score y_true = [0, 1, 1, 0, 1] y_pred = [0, 1, 0, 0, 1] accuracy = accuracy_score(y_true, y_pred) print("准确率：", accuracy) ``` 2. 错误率（Error Rate）：预测错误的样本数占总样本数的比例。 ```python error_rate = 1 - accuracy print("错误率：", error_rate) ``` 3. 查准率（Precision）：预测为正例的样本中，真正为正例的比例。 ```python from sklearn.metrics import precision_score precision = precision_score(y_true, y_pred) print("查准率：", precision) ``` 4. 查全率（Recall）：真正为正例的样本中，被正确预测为正例的比例。 ```python from sklearn.metrics import recall_score recall = recall_score(y_true, y_pred) print("查全率：", recall) ``` 5. F1值（F1 Score）：综合考虑了查准率和查全率的指标，是二者的调和平均值。 ```python from sklearn.metrics import f1_score f1 = f1_score(y_true, y_pred) print("F1值：", f1) ``` 6. ROC曲线和AUC（Receiver Operating Characteristic curve and Area Under the Curve）：用于评估二分类模型的性能。ROC曲线是以不同的分类阈值为基础，绘制出真正例率（TPR）和假正例率（FPR）之间的关系曲线。AUC表示ROC曲线下的面积，用于衡量模型的分类能力。 ```python from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt # 计算预测概率 y_score = [0.2, 0.6, 0.8, 0.3, 0.9] fpr, tpr, thresholds = roc_curve(y_true, y_score) # 绘制ROC曲线 plt.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % auc(fpr, tpr)) plt.plot([0, 1], [0, 1], 'k--') # 绘制对角线 plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver Operating Characteristic') plt.legend(loc='lower right') plt.show() # 计算AUC auc_score = auc(fpr, tpr) print("AUC：", auc_score) ```
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值