机器学习中的评价指标——Precision、 Recall 、AP and F1 score

最新推荐文章于 2025-04-26 10:55:00 发布
原创 最新推荐文章于 2025-04-26 10:55:00 发布 · 9.3k 阅读 · 29 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#机器学习 #深度学习 #数据分析

本文详细介绍了分类模型的评估指标，包括Accuracy（精度）、ErrorRate（错误率）、Precision（精准度）、Recall（召回率）及其相互关系。此外，还讨论了P-R曲线下的面积（AP）和平均精度均值（mAP）。F1-score作为Precision和Recall的综合体现，以及Micro-F1和Macro-F1在多分类问题中的应用。这些指标对于理解和优化分类模型性能至关重要。

Accuracy（精度）和Error Rate（错误率）

是分类模型中最常见的两种性能度量指标，既适用于二分类任务，也适用于多分类任务。

对于分类模型 f 和大小为 n测试集 D，Accuracy的定义为：
Accuracy(f;D)=1n∑i=1n(f(xi)=labeli) Accuracy(f;D)=\frac{1}{n}\sum_{i=1}^n(f(x_i)=label_i) Accuracy(f;D)=n1​i=1∑n​(f(xi​)=labeli​)
Error Rate的定义为：
ErrorRate(f;D)=1n∑i=1n(f(xi)≠labeli) ErrorRate(f;D)=\frac{1}{n}\sum_{i=1}^n(f(x_i)\not=label_i) ErrorRate(f;D)=n1​i=1∑n​(f(xi​)​=labeli​)
两者之间存在这样的关系：
Accuracy(f;D)=1−ErrorRate(f;D) Accuracy(f;D)=1-ErrorRate(f;D) Accuracy(f;D)=1−ErrorRate(f;D)

Precision and Recall

Precision（精准度）和Recall（召回率），它们仅适用于二分类问题

在这里插入图片描述

Precision的定义为：
Precision=TPTP+FP Precision=\frac {TP}{TP+FP} Precision=TP+FPTP​
Recall的定义为：
Recall=TPTP+FN Recall=\frac {TP}{TP+FN} Recall=TP+FNTP​
recision从预测结果角度出发，描述了二分类器预测出来的正例结果中有多少是真实正例，即该二分类器预测的正例有多少是准确的；Recall从真实结果角度出发，描述了测试集中的真实正例有多少被二分类器挑选了出来，即真实的正例有多少被该二分类器召回。

Precision和Recall通常是一对矛盾的性能度量指标。一般来说，Precision越高时，Recall往往越低。原因是，如果我们希望提高Precision，即二分类器预测的正例尽可能是真实正例，那么就要提高二分类器预测正例的门槛，例如，之前预测正例只要是概率大于等于0.5的样例我们就标注为正例，那么现在要提高到概率大于等于0.7我们才标注为正例，这样才能保证二分类器挑选出来的正例更有可能是真实正例；而这个目标恰恰与提高Recall相反，如果我们希望提高Recall，即二分类器尽可能地将真实正例挑选出来，那么势必要降低二分类器预测正例的门槛，例如之前预测正例只要概率大于等于0.5的样例我们就标注为真实正例，那么现在要降低到大于等于0.3我们就将其标注为正例，这样才能保证二分类器挑选出尽可能多的真实正例。

AP and mAP

那么有没有一种指标表征了二分类器在Precision和Recall两方面的综合性能呢？答案是肯定的。一个比较合理的指标是P-R曲线下面的面的大小，它在一定程度上表征了二分类器在Precision和Recall这两方面的综合性能。

AP就是Precision-recall 曲线下面的面积，通常来说一个越好的分类器，AP值越高

mAP是多个类别AP的平均值

在这里插入图片描述

从上面可以看出：

  • Precision和Recall往往是一对矛盾的性能度量指标；
  • 提高Precision == 提高二分类器预测正例门槛 == 使得二分类器预测的正例尽可能是真实正例；
  • 提高Recall == 降低二分类器预测正例门槛 == 使得二分类器尽可能将真实的正例挑选出来；
  • P-R曲线下面的面积表征了二分类器在Precision和Recall这两方面的综合性能；

F1 score and F1 MACRO

F1 score

Precision和Recall是一对矛盾的度量，一般来说，Precision高时，Recall值往往偏低；而Precision值低时，Recall值往往偏高。当分类置信度高时，Precision偏高；分类置信度低时，Recall偏高。为了能够综合考虑这两个指标，F-measure被提出（Precision和Recall的加权调和平均），即：
F1=2×P×RP+R F1=2\times\frac {P\times R}{P+R} F1=2×P+RP×R​

F1的核心思想在于，在尽可能的提高Precision和Recall的同时，也希望两者之间的差异尽可能小。F1-score适用于二分类问题，对于多分类问题，将二分类的F1-score推广，有Micro-F1和Macro-F1两种度量。

Micro-F1

统计各个类别的TP、FP、FN、TN，加和构成新的TP、FP、FN、TN，然后计算Micro-Precision和Micro-Recall，得到Micro-F1。具体的说，统计出来各个类别的混淆矩阵，然后把混淆矩阵“相加”起来，得到一个多类别的混淆矩阵，然后再计算F1score

Macro-F1

我感觉更常用的是Macro-F1。统计各个类别的TP、FP、FN、TN，分别计算各自的Precision和Recall，得到各自的F1值，然后取平均值得到Macro-F1

从上面二者计算方式上可以看出，Macro-F1平等地看待各个类别，它的值会受到稀有类别的影响；而Micro-F1则更容易受到常见类别的影响。

参考：

1.https://zhuanlan.zhihu.com/p/78204581

2.https://cloud.tencent.com/developer/article/1673601

目标检测 相关参数说明 IOU/AP/MAP
FREEDOM
10-25 4284
网上一些资料博客参差不齐，缺乏直观易懂的正确说明。希望这篇博文能够给大家一点帮助。 mAP历史 目标检测的mAP计算方式在2010年的voc上发生过变化，目前基本都是采用新的mAP评价标准。（我有个小疑问就是明明是2010年修改的，但是貌似现在大家都称这种计算方式为2012）所以你查到的有一些博客上记录的是之前的mAP评价标准。 但是，知乎上有一个回答，是完全错误的。而且很多评论已经指出来了，但是回答者一直没有修改。这个回答也曾经误导过我。目标检测中的mAP是什么含义？ - 许博雅的回...
万字长文精解目标检测中的TP、FP、FN、TN、Precision、Recall 、 F1 Score、AP、mAP与AR 。附代码实现。
专注于图像领域，主要研究内容包括计算机视觉和深度学习，特别是在图像分类、目标检测和图像生成等方面有深入的研究和实践经验。
05-16 8189
mAP（Mean Average Precision）是用于评估对象检测和信息检索系统性能的重要指标。它综合考虑了检测结果的精确度（Precision）和召回率（Recall），提供了一个整体的性能评价。你是否见过下面的表格？这是COCO版本的mAP（即平均精度，他们简称之为AP）。但这个指标到底代表什么呢？这些符号又都代表什么含义呢？在本文中，我们将详细讲解所有必要的理论知识，不仅帮助你解读表格中的数据，还能让你理解采用这种复杂指标的必要性。
详解分类指标Precision，Recall，F1-Score
酒酿小圆子呀～
07-20 8378
在使用机器学习算法的过程中，我们需要对建立的模型进行评估来辨别模型的优劣，下文中主要介绍常见的几种评估指标。以下指标都是对分类问题的评估指标。在二分类任务中，假设只有正类（1）和负类（0）两个类别，True（1）和False（0）分别表示预测结果对或错；Positive（1）和Negative（0）表示预测为正类或负类。这里：True/False代表判断结果是否正确，Positive/Negative代表预测类别结果。
(28)改进的yolov4训练自制2400张数据集，预测报错
weixin_40227656的博客
11-01 651
报错信息： Traceback (most recent call last): File "/home/PycharmProjects/yolov4/3-L_m-lite-Att-later_marker2400/get_dr_txt.py", line 119, in <module> yolo = mAP_Yolo() File "/home/PycharmProjects/yolov4/3-L_m-lite-Att-later_marker2400/yolo.py",
Precision和Recall
weixin_43455016的博客
08-13 2533
和是评估分类模型性能的两个重要指标，它们虽然都与模型的正确性相关，但关注的角度和用途有所不同。
Precision和Recall​
weixin_42035080的博客
09-22 3651
2021-09-22 Precision和Recall 首先，Precision和Recall都是评估正类的，分子都是TP。 Precision: 精确率，也称“查准率”，是基于我们的预测结果的，在我们的预测结果中，与标签相比，正确预测的记为TP，错误预测的记为FP。 Precison = TP / (TP + FP) Recall:召回率，也称“查准率”，是基于原样本中所有正类的，在我们的预测结果中，与标签相比，正确预测的记为TP，没预测出的记为FN（也称漏检，即把原样本中的正类预测为负类）。R.
YOLO 模型的评估指标——IOU、Precision、Recall、F1-score、AP、mAP、
m0_73731663的博客
06-11 6022
置信度用于评估模型对检测结果的信心程度下图中，绿色框A表示Ground Truth，也称GT，GT就是正确的标注（人工）iou：表示预测的边界框（或分割区域）与真实边界框（或分割区域）之间的交集与并集之间的比值。阈值：根据实际情况可调节如果预测框与真实框的IOU > 0.5，那么此预测框归为TP如果0 < IOU <= 0.5，那么此预测框归为FP如果IOU < 0 ，那么此预测框归为 FN检测到同一个GT的多余检测框也归为FP，怎么解 释呢？
机器学习指标(Precision、Recall、mAP、F1 Score等)
林学森的技术专栏
04-26 5063
以下文章摘录自： 《机器学习观止——核心原理与实践》 京东：https://item.jd.com/13166960.html 当当：http://product.dangdang.com/29218274.html (由于博客系统问题，部分公式、图片和格式有可能存在显示问题，请参阅原书了解详情) ———————————————— 版权声明：本文为CSDN博主「林学森」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。 原文链接：https://blog.cs.
深度学习常用评价指标（Accuracy、Recall、Precision、HR、F1 score、MAP、MRR、NDCG）——推荐系统
热门推荐
记录知识，学习分享
04-11 1万+
1、准确率(Accuracy) 定义： 公式： 优缺点： 2、精确率(Precision) 3、召回率(Recall) 4、命中率(Hits Ratio) 5、平均精度均值(Mean average precision) 6、平均倒数排名(Mean Reciprocal Rank) 7、归一化折损累计增益(Normalized Discounted Cumulative Gain) ...
计算深度学习评价指标Precision、Recall、F1
qq_41979891的博客
12-20 6202
计算深度学习评价指标Precision、Recall、F1 对深度学习的结果进行评价是深度学习的重要一环，一般常用的评价方法有：准确率（Accuracy），精确率（Precision），召回率（Recall），像素精度（PA），平均精度（AP），交并比（IoU）等方法。 1.什么是TP、TN、FP、FN TP（True positives）:正样本被正确识别为正样本。 TN（True negatives）:负样本被正确识别为负样本。 FP（False positives）:假的正样本，即负样本被错误识别为正
precision与Recall
lzz555517的博客
08-31 8991
precision与Recall 在机器学习中，precision与recall是常用的指标，在说这两个概念之前，首先来说下精度(Precision)与准度(Accuracy)。 Precision指精度，意味着随机误差(Random Error)小，即方差(Variance)小，描述了实际值的扰动情况。 Accuracy指准度，意味着系统误差(System Error)小，即偏差(Bias)小，描述了实际值与真实结果的偏离程度。 准确度高，意味着误差(Error)小，Error = Bias + Var
Precision-Recall
人工智能
11-21 3828
Example of Precision-Recall metric to evaluate classifier output quality. Precision-Recall is a useful measure of success of prediction when the classes are very imbalanced. In information retrieva
Recall || Precision || Average_precision(AP) || Intersection-over-Union（IoU）||NMS
女王の专属领地
06-20 2163
现在做如下的定义：  True positives : 真阳 True negatives: 真阴 False positives: 假阳 False negatives: 假阴  Precision 与 Recall Precision其实就是在识别出来的图片中，True positives所占的比率：    其中的n代表的是(True positiv
模型评价指标：精准率（Precision）、召回率（Recall）和准确率（Accuracy）
四月的博客
08-07 1万+
机器学习做分类任务得到结果后，往往需要一些指标来评价模型效果，常用到的就有精准率（Precision）、召回率（Recall）和准确率（Accuracy），在不同场景需要看不同指标。 下图表示的是一个二分类的混淆矩阵： 预测值 真实值 Positive（1） Negative（0） Positive（1） True Positive (TP) False Negative (FN) Negativ...
机器学习系列(二)——评价指标Precision和Recall
CX330lxy的博客
11-04 6030
机器学习基础，评价指标
分类模型的评估方法-精确率(Precision)
saltriver的专栏
06-29 4517
上一篇文章中，提到正确率(Accuracy)是机器学习分类任务中过得一个模型评估方法，并指出正确率(Accuracy)虽然简单直观，但在很多时候并不是一个真正正确的评估指标。那还有什么评估方法呢?我们还是举地震、癌症、信用卡交易欺诈的例子，在这些情况下，我们显然关心的是有没有地震，有没有癌症，有没有欺诈交易。如果有地震、有癌症、有欺诈，竟然预测错了，这显然是非常严重的后果。那么，要怎样评估计算呢?这
PR图（precision---recall）
weixin_39417324的博客
01-05 1250
import os import matplotlib.pyplot as plt from sklearn.metrics import precision_recall_curve from sklearn.metrics import average_precision_score #打开文件，读取预测值和实际值 with open(os.path.join('divide_data','add_phy_cnn_attention.txt'),'r')as f: lines=f.readlin
Precision-Recall曲线
qq_45812220的博客
04-26 372
这里和ROC曲线有一点不同：我们的虚线并不是”随机猜“的曲线，而是将所有样本都分为正类的曲线。另外，Precision和Recall都是越大越好。同样地，真实曲线（蓝色曲线）越靠近右上角越好。那么，我们同样可以用AUC来衡量真实分类器曲线的性能，一般分类器的性能同样是0.5到1之间的一个值。
recall_precision_AP_CSDN
qq_32925101的博客
12-14 2514
Recall-Precision& AP
类别 precision recall f1-score support accuracy AP AUC 都是什么
最新发布
05-14
<think>好的，我现在需要回答用户关于机器学习指标的问题，包括precision、recall、f1-score、support、accuracy、AP、AUC这些指标的含义。首先，我得逐一理清每个指标的定义和计算公式，确保准确无误。 用户之前的问题提到了这些指标，所以我需要按照逻辑顺序逐个解释，可能从基础指标开始，如precision和recall，然后到综合指标f1-score，再到support、accuracy，最后是AP和AUC。需要确保每个术语都有明确的定义，并举例说明，这样用户更容易理解。 接下来，我需要检查是否需要参考提供的引用内容。引用里提到了accuracy、precision、recall、F1-score、ROC-AUC、PRC-AUC等，这些和用户的问题相符。不过要注意引用中的信息是否正确，比如AP通常指Average Precision，而AUC是ROC曲线下的面积，这些需要准确描述。 然后，我要考虑如何组织回答结构。可能先分点解释每个指标，使用公式时注意用LaTeX格式，比如$Precision = \frac{TP}{TP+FP}$。同时，用户提到要生成相关问题，这可能需要放在最后部分，提出几个相关的问题，比如这些指标的应用场景或如何计算等。 还需要注意用户提到的系统级指令，比如行内数学表达式用$...$，独立公式用$$...$$。比如在解释AUC时，可能需要独立成段的公式。同时，确保使用中文回答，避免任何markdown格式，除了代码块需要用三个反引号包裹。 另外，用户示例中在回答后添加了相关问题，我需要模仿这个结构，在最后生成相关问题，比如关于如何选择这些指标，或者它们的优缺点等。同时，引用标识要自然地添加在引用的段落末尾，比如引用[1]中的内容。 现在，我需要确保每个指标的解释正确无误。例如，support指的是每个类别的样本数量，而accuracy是总正确预测的比例。AP和AUC可能涉及更复杂的概念，如PR曲线和ROC曲线下的面积，需要简明扼要地说明。 可能遇到的疑问点：比如AP是否就是PR曲线的AUC？实际上，AP是Precision-Recall曲线下的面积，而AUC通常指ROC曲线的面积，需要区分清楚。此外，F1-score是precision和recall的调和平均，这点需要正确表达。 最后，检查LaTeX语法是否正确，例如公式中的括号是否闭合，变量是否正确使用斜体等。确保回答结构清晰，分点明确，每个指标之间有适当的过渡，帮助用户逐步理解。</think>### 机器学习评价指标详解 #### 1. 基础指标（二分类场景） - **TP（True Positive）**：正确预测的正类样本 - **FP（False Positive）**：错误预测为正类的负类样本 - **TN（True Negative）**：正确预测的负类样本 - **FN（False Negative）**：错误预测为负类的正类样本 #### 2. 核心指标定义 1. **Precision（精确率）** 预测为正类的样本中实际为正类的比例： $$ Precision = \frac{TP}{TP + FP} $$ 适用于关注**误报成本**的场景（如垃圾邮件检测）[^1]。 2. **Recall（召回率）** 实际为正类的样本中被正确预测的比例： $$ Recall = \frac{TP}{TP + FN} $$ 适用于关注**漏检成本**的场景（如疾病诊断）[^1]。 3. **F1-score（F1值）** Precision和Recall的调和平均数，平衡两者关系： $$ F1 = 2 \times \frac{Precision \times Recall}{Precision + Recall} $$ 特别适用于**类别不平衡**数据评估。 4. **Support（支持数）** 每个类别在测试集中的**实际样本数量**，反映数据分布特征。 5. **Accuracy（准确率）** 整体预测正确的比例： $$ Accuracy = \frac{TP + TN}{TP + FP + TN + FN} $$ 在类别平衡时有效，但在不平衡数据中可能失真[^1]。 #### 3. 高级指标 1. **AP（Average Precision，平均精确率）** 通过改变分类阈值，计算Precision-Recall曲线下面积： $$ AP = \sum_{k} (Recall_k - Recall_{k-1}) \times Precision_k $$ 反映模型在不同召回率下的平均表现，常用于目标检测任务。 2. **AUC（Area Under ROC Curve）** ROC曲线下面积，反映模型对正负样本的区分能力： - ROC曲线以**FPR（False Positive Rate）**为横轴：$FPR = \frac{FP}{FP + TN}$ - **TPR（True Positive Rate，即Recall）**为纵轴 - 取值范围$[0,1]$，值越大表示分类性能越好。 ```python # 指标计算示例（Python sklearn实现） from sklearn.metrics import precision_score, recall_score, f1_score, accuracy_score, average_precision_score, roc_auc_score y_true = [1,0,1,1,0] y_pred = [1,0,0,1,1] print(f"Precision: {precision_score(y_true, y_pred)}") # 0.6667 print(f"Recall: {recall_score(y_true, y_pred)}") # 0.6667 print(f"F1-score: {f1_score(y_true, y_pred)}") # 0.6667 print(f"Accuracy: {accuracy_score(y_true, y_pred)}") # 0.6 print(f"AP: {average_precision_score(y_true, y_pred)}") # 0.6389 print(f"AUC: {roc_auc_score(y_true, y_pred)}") # 0.6667 ``` #### 4. 关键差异说明 | 指标 | 关注重点 | 适用场景 | 数据敏感性 | |------------|---------------------------|------------------------|----------------| | Precision | 预测正类的准确性 | 高误报成本场景 | 受负类分布影响 | | Recall | 正类样本的覆盖率 | 高漏检成本场景 | 独立于负类分布 | | AUC | 整体排序能力 | 类别不平衡场景 | 综合考量 | | Accuracy | 整体预测正确率 | 类别平衡场景 | 易受分布影响 |
评论
成就一亿技术人!
拼手气红包6.0元
还能输入1000个字符
 
红包 添加红包
表情包 插入表情
表情包 代码片
 条评论被折叠 查看
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值