机器学习中的模型评估：精确率-召回率曲线与F1分数

已于 2025-05-17 10:17:42 修改
阅读量1.6k 收藏 15
点赞数 18
分类专栏： 大模型微调 文章标签： 机器学习 python 人工智能
于 2025-03-20 20:19:43 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csdn122345/article/details/146405396
版权

目录

摘要

一、引言

二、精确率 - 召回率曲线与 F1 分数的基本概念

2.1 什么是精确率 - 召回率曲线？

2.2 什么是 F1 分数？

三、精确率 - 召回率曲线与 F1 分数的计算方法

3.1 计算精确率 - 召回率曲线

3.2 计算 F1 分数

四、精确率 - 召回率曲线与 F1 分数的代码示例

4.1 数据加载与预处理

4.2 训练模型

4.3 计算精确率 - 召回率曲线和 F1 分数

五、精确率 - 召回率曲线与 F1 分数的应用场景

5.1 分类任务

5.2 不平衡数据集

5.3 模型比较

六、精确率 - 召回率曲线与 F1 分数的注意事项

6.1 数据不平衡

6.2 模型选择

6.3 阈值选择

6.4 多分类任务

七、拓展与深化

7.1 进一步的理论探讨

7.2 实践中的优化策略

7.3 行业应用案例分析

八、总结

摘要

在当今数据驱动的时代，机器学习技术在众多领域发挥着至关重要的作用。然而，如何准确评估机器学习模型的性能是确保其可靠性和有效性的关键环节。本文深入探讨了精确率 - 召回率曲线（Precision-Recall Curve）和 F1 分数这两种在机器学习模型评估中具有重要地位的指标，旨在为读者提供一套全面且系统的理解框架。通过阐述其基本概念，详细介绍计算方法，结合实际示例和代码演示，深入分析其应用场景以及注意事项，本文希望能够助力读者在实际的机器学习项目中更好地运用这些指标来评估和优化模型。

一、引言

随着人工智能技术的快速发展，机器学习已经在众多领域得到了广泛应用，如医疗诊断、金融风险预测、自然语言处理等。在这些应用场景中，构建一个高精度的机器学习模型至关重要。然而，仅依靠单一的准确率指标往往不足以全面评估模型的性能，尤其是在处理类别不平衡的数据集时。在这种情况下，精确率 - 召回率曲线和 F1 分数成为了评估模型性能的有力工具。它们能够从不同的角度揭示模型在区分正负样本方面

了解本专栏 订阅专栏 解锁全文 超级会员免费看
【人工智能机器学习基础篇】——深入详解监督学习之模型评估：掌握评估指标（准确率、精确率、召回率、F1分数等）和交叉验证技术
编程技术探索者，分享C/C++、C#、Java、数据库等开发经验，聚焦实战技巧与AI兴趣，助力编程爱好者成长。
12-30 1521
【人工智能机器学习基础篇】——深入详解监督学习之模型评估：掌握评估指标（准确率、精确率、召回率、F1分数等）和交叉验证技术
模型评估指标：准确率召回率与F1值
AI天才研究院
05-01 1351
1. 背景介绍 在机器学习领域，构建模型只是第一步，评估模型的性能则是至关重要的一环。模型评估指标能够帮助我们量化模型的优劣，并指导模型的改进方向。在众多的评估指标中，准确率、召回率和F1值是最为常见的三个指标，它们分别从不同的角度衡量模型的性能。 1.1 分类问题的评估指标 准确率
综述：CNN在脑肿瘤分类的应用(2015-2022)
qq_45807235的博客
12-14 3894
该论文使用CNN架构使用MR图像的脑肿瘤进行分类的研究进行全面回顾，目的是确定该技术发展的有用策略和可能的障碍。对于每篇文章，提取了关于训练数据、目标问题、网络架构、验证方法和报告的定量性能标准的数据。然后评估这些研究的临床相关性，通过考虑卷积神经网络的优点来确定局限性，以及为了促进CNN算法的临床应用和发展需要解决的剩余挑战。最后，为生物医学和机器学习领域的研究人员讨论了未来研究的可能方向。共确定并回顾了83项研究。它们在目标的精确分类问题和用于构建和训练所选CNN的策略方面有所不同。
精确率-召回率曲线分析
最新发布
xuukai的博客
04-11 748
模型表现最佳，可以考虑在实际应用中优先使用。
PR曲线（Precision-Recall Curve，精确率-召回率曲线）
weixin_44012667的博客
06-26 6281
PR曲线（Precision-Recall Curve，精确率-召回率曲线）是一种用于评估二分类模型性能的工具，特别适用于不平衡数据集。PR曲线通过绘制精确率（Precision）与召回率（Recall）之间的关系，展示模型在不同决策阈值下的表现。
精确率（Precision）、召回率（Recall）和F1值
m0_61972043的博客
10-28 2634
text{F1值} = 2 \times \frac{\text{精确率} \times \text{召回率}}{\text{精确率} + \text{召回率}}\text{精确率} = \frac{\text{真正例（TP）}}{\text{真正例（TP）} + \text{假正例（FP）}}\text{召回率} = \frac{\text{真正例（TP）}}{\text{真正例（TP）} + \text{假负例（FN）}}F1值是精确率和召回率的调和平均数，它综合考虑了精确率和召回率的平衡。
准确率、精确率、召回率、F1值
D2460596421的博客
03-22 1209
4. F1 = 2 /（1/精准率 + 1/召回率）=（2*精准率*召回率）/ （精准率+召回率）（在我看来是基于真实类别来判别的，所以分母是该类的真是类别全部个数）（在我看来是基于预测结果来判别的，所以分母是预测该类的全部个数）3.召回率 = 对于一类预测正确的个数 / 真正是该类的全部个数。2.精确率 = 对于一类预测正确的个数 / 预测该类的全部个数。1.准确率 = 预测正确个数 / 总样本的个数；由于需要对精准率和召回率的综合，才引出了F1。准确率和召回率都是基于一类进行研究的。
准确率、精确率、召回率、F1-score
热门推荐
ywfwyht的博客
02-22 2万+
追求召回率高，则通常会影响精确率。F1值为算数平均数除以几何平均数，且越大越好，将Precision和Recall的上述公式带入会发现，当F1值小时，True Positive相对增加，而false相对减少，即Precision和Recall都相对增加，即F1对Precision和Recall都进行了加权。直白的意思就是模型预测为正例的样本中，其中真正的正例占预测为正例样本的比例，用此标准来评估预测正例的准确度。以实际样本为判断依据，实际为正例的样本中，被预测正确的正例占总实际正例样本的比例。
机器学习中的精确率召回率和PR曲线
GwentBoy的博客
01-28 9154
文章目录阈值对精确率和召回率的影响精确率-召回率曲线 阈值对精确率和召回率的影响 精确率和召回率是相互矛盾的一组指标，即精确率提高就会导致召回率降低。 假设我有一组样本，分别为蓝色点和红色点，我们想要用算法模型预测出红色点。 当阈值选择在红色分隔线的位置时： 精确率 = 5 / 6 = 0.83 召回率 = 5 / 7 = 0.71 当阈值选择在黑色分割线的位置时： 精确率 = 7 / 10 = 0.7 召回率 = 7 / 7 = 1 当阈值选择在蓝色分割线的位置时： 精确率 = 3 / 3 = 1
机器学习模型评估指标-混淆矩阵-精度-召回率-F1分数
liujing319的专栏
06-14 2203
最近在复盘udacity 的机器学习的课程，现在来整理一下关于机器学习模型的评估指标的相关知识。 不同数据集采用不同的模型进行训练，会得到完全不同的效果，那么如何衡量一个模型是否适合该数据集呢？在数据集训练后可以对一些指标进行运算，观察实际的效果，进行调整参数或者更换模型等等。 学习模型的评估指标常用的有几种：F-β得分（F1得分，F2得分等等，根据不同的业务实际需求来指定适合的β值），ROC...
PR曲线深度分析：精确度-召回率曲线评估秘籍
精确度和召回率是两个核心概念，在机器学习领域中，它们通常用于衡量分类模型的性能。精确度关注的是模型预测为正的样本中，实际为正的比例，而召回率关心的是在所有正样本中，模型能正确识别出的比例。PR曲线，即...
机器学习评估指标——混淆矩阵、准确率、精确率、召回率、F1分数、ROC曲线和AUC
weixin_51375278的博客
12-30 4797
机器学习里面ROC和AUC的全面理解
一文读懂精准率、召回率、pr曲线、roc曲线
xuechenLCB的专栏
07-16 1万+
模型有各种各样的评测标准，比如 准确率、精确率、召回率、auc、roc、F1等，每种都有各自的优缺点，下面一一进行讨论。 无论哪种评测标准，都是根据预测正负例的情况，和真实正确率的情况进行比较来进行的。 首先来看下平时我们如何来表示预测正负例的，对于二分类的情况，我们的预测结果有两种情况，样本的真实标签也有两种情况，所以组合会有4中情况，也就是所谓的混淆矩阵： 其中 ： P：(positive) 代表我们预测的是正例 ...
分类评估方法：精确率与召回率。ROC曲线与AUC指标、ROC曲线图绘制。
あずにゃん梓喵的博客
08-10 2244
日萌社 人工智能AI：Keras PyTorch MXNet TensorFlow PaddlePaddle 深度学习实战（不定时更新） 3.4 分类评估方法 1.分类评估方法 1.1 精确率与召回率 1.1.1 混淆矩阵 在分类任务下，预测结果(Predicted Condition)与正确标记(True Condition)之间存在四种不同的组合，构成混淆矩阵(适用于多分类)...
【机器学习】精确率，召回率，F1
UESTC_201722的博客
03-31 427
Precision 精确率(Precision）是指在所有系统判定的“真”的样本中，确实是真的的占比，就是TP/(TP+FP)。 Recall 召回率（Recall）是指在所有确实为真的样本中，被判为的“真”的占比，就是TP/(TP+FN)。 F1-Score ...
二分类器、混淆矩阵、精度、召回率、ROC曲线、PR曲线
chenqiuyu10的博客
12-05 1265
手写数字识别，机器学习“分类”学习笔记—来自Geron的《机器学习实战》 图片识别领域的“hello word” 文章目录MNIST训练二元分类器性能测量使用交叉验证测量准确率混淆矩阵精度和召回率精度/召回率权衡ROC曲线 MNIST 获取MNIST代码，70000张手写数字的图片----28x28个像素0-255黑白像素点 Scitkit-Learn 加载数据集通常为字典结构 （这里需要下载数据集，时间比较长，data_home为保存路径，事先设定好路径之后就不会找不到数据存放在那了) from skle
模型评估方法以及评估指标——准确率、精确率、召回率以及P-R曲线和ROC曲线介绍
qq_42600675的博客
12-06 1万+
模型评估方法以及评估指标介绍前言一、准确率、精确率、召回率1.1 准确率(Accuracy)1.2 精确率(Precision)1.3 召回率(Recall)二、P-R曲线和ROC曲线2.1 P-R曲线2.2 ROC曲线三、模型评估验证方法3.1 Holdout检验3.2 交叉检验3.3 自助法 前言 ”没有测量，就没有科学“ 在机器学习中，只有选择与问题相匹配的评估方法，才能快速地发现模型选择或训练过程中出现的问题，迭代地对模型进行优化。模型评估主要是离线评估和在线评估两个阶段，本文整理了常见的模
精确率与召回率，ROC曲线与PR曲线
CYJ2014go的博客
11-26 2550
在机器学习的算法评估中，尤其是分类算法评估中，我们经常听到精确率(precision)与召回率(recall)，ROC曲线与PR曲线这些概念，那这些概念到底有什么用处呢？             &
F1曲线是什么
03-20
<think>好的，我需要向用户介绍F1曲线是什么。首先，我应该明确F1曲线的定义和它在机器学习中的用途。F1分数是精确率和召回率的调和平均数，用来衡量分类模型的性能。但用户问的是F1曲线，这可能需要进一步解释。 接下来，我需要确认F1曲线是否指的是F1分数在不同阈值下的变化曲线。通常，分类模型会输出概率，通过调整分类阈值，可以得到不同的精确率和召回率，从而计算出不同的F1分数，形成一条曲线。这可能与PR曲线（精确率-召回率曲线）相关，而F1曲线可能是PR曲线的一个补充，显示F1分数随阈值变化的情况。 然后，我应该考虑F1曲线的作用。比如，帮助选择最佳阈值，平衡精确率和召回率，或者评估模型在不同阈值下的表现。需要解释如何通过F1曲线来选择模型或调整阈值，以及曲线的高低变化代表什么。 还需要注意F1曲线与ROC曲线的区别。ROC曲线关注的是真正率（TPR）和假正率（FPR），而F1曲线则集中在精确率和召回率的权衡上，特别适用于类别不平衡的情况。 最后，应该总结F1曲线的应用场景和重要性，确保用户理解其在实际问题中的价值，比如在医疗诊断或欺诈检测中，精确率和召回率都很关键，F1曲线帮助找到两者的最佳平衡点。 在组织语言时，要保持结构清晰，分点解释，使用例子帮助理解，并避免专业术语过多，确保通俗易懂。同时，遵循用户的格式要求，使用正确的中文和LaTeX排版数学公式，比如F1分数的计算公式用$$...$$，行内公式用$...$。</think>F1曲线是机器学习中用于评估分类模型性能的一种曲线，它反映了模型在不同分类阈值下**F1分数**的变化情况。以下是逐步说明： --- ### **1. 核心概念：F1分数** F1分数是**精确率（Precision）**和**召回率（Recall）**的**调和平均数**，用于综合衡量模型在正类样本上的表现。其公式为： $$F1 = \frac{2 \times \text{Precision} \times \text{Recall}}{\text{Precision} + \text{Recall}}$$ - **精确率**：预测为正类的样本中，实际为正类的比例。 公式：$\text{Precision} = \frac{TP}{TP + FP}$ - **召回率**：实际为正类的样本中，被正确预测的比例。 公式：$\text{Recall} = \frac{TP}{TP + FN}$ 其中，$TP$（真正例）、$FP$（假正例）、$FN$（假负例）。 --- ### **2. F1曲线的定义** F1曲线通过**动态调整分类阈值**，绘制不同阈值下的F1分数变化曲线。 - **分类阈值**：模型将样本预测为正类的概率阈值（如默认0.5）。 - **曲线绘制方法**： 1. 遍历所有可能的阈值（如从0到1）。 2. 对每个阈值，计算对应的精确率和召回率，进而得到F1分数。 3. 将所有F1分数连成曲线。 --- ### **3. F1曲线的用途** - **选择最佳阈值**：通过曲线找到F1分数最高的阈值，平衡精确率和召回率。 - **模型对比**：不同模型的F1曲线下面积（AUC）越大，综合性能越好。 - **类别不平衡分析**：在正负样本不均衡时，F1曲线比准确率更可靠。 --- ### **4. F1曲线 vs. PR曲线 vs. ROC曲线** - **PR曲线**（精确率-召回率曲线）：横轴为召回率，纵轴为精确率。 - **F1曲线**：可视为PR曲线的补充，直接展示F1分数随阈值的变化。 - **ROC曲线**：关注真正类率（TPR）和假正类率（FPR），对类别均衡数据更敏感。 --- ### **5. 实际应用示例** 假设一个**医疗诊断模型**： - **高召回率**：避免漏诊（减少FN）。 - **高精确率**：避免误诊（减少FP）。 - 通过F1曲线，可找到兼顾两者的阈值，如癌症筛查中需平衡漏检和误检风险。 --- ### **总结** F1曲线通过动态分析不同阈值下的F1分数，帮助优化分类模型的性能平衡。它特别适用于**类别不平衡问题**（如欺诈检测、罕见病诊断），是模型调参和评估的重要工具。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CarlowZJ

我的文章对你有用的话，可以支持

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值