分类模型评估指标及ROC曲线和PR曲线

最新推荐文章于 2024-09-13 13:43:06 发布
最新推荐文章于 2024-09-13 13:43:06 发布
阅读量776 收藏 11
点赞数 7
文章标签： 分类 机器学习 人工智能
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_74397934/article/details/137752026
版权
本文详细介绍了分类模型评估的关键指标，如准确率、精确率、召回率、F1分数以及ROC曲线和PR曲线的概念。特别关注了KNN算法在不同K值下的ROC曲线分析，强调了选择合适K值对模型性能的影响。
摘要由CSDN通过智能技术生成

目录

分类模型评估指标

分类模型：

为什么要评估分类模型：

常见的分类模型：

准确率 （Accuracy）：

精确率（Precision): 就是预测正确的正例数据占预测为正例数据的比例。

召回率（Recall）：

ROC曲线和PR曲线对比：

ROC曲线：

PR曲线：

ROC曲线和PR曲线的差异：

KNN算法对不同K值下的ROC曲线的分析：

数据集准备：

KNN分类器并训练并绘制ROC曲线：

K=1：

K=3:

K=5：

不同K值的分析：

分类模型评估指标

分类模型：

分类模型是机器学习的一种类型，它的任务是通过学习样本的特征来预测样本的类别。

为什么要评估分类模型：

评估分类模型的性能非常重要，因为它能帮助我们了解模型的表现如何，以及模型在实际应用中的可能表现。通过使用不同的评估指标，可以从不同的角度理解模型的性能。作为使用场景最为广泛的机器学习模型，其评估指标也随着使用场景的拓展而不断丰富，例如，可以通过查看模型的准确率来了解模型正确预测的比例，还有精确度、召回率、F1分数、受试者特征曲线（ROC-AUC）、真阳性率（True Positive Rate, TPR）、假阳性率（False Positive Rate, FPR）等，不同评估指标有对应的不同的计算方法，同时也对应着不同的使用场景。

常见的分类模型：

  • 准确率（Accuracy）：正确分类样本数占总样本数的比例。
  • 精确率（Precision/P）、召回率（Recall/R）：在所有预测为正例的样本中，有多少是真正正例（精确率）；在所有真实正例中，有多少被成功预测为正例（召回率）。
  • F1分数（F1 Score）：精确率和召回率的调和平均数，用来衡量模型在精确性和全面性上的平衡程度。
  • ROC曲线：ROC曲线是用来验证一个分类器（二分）模型的性能的。其工作原理是，给出一个模型，输入已知正负类的一组数据，并通过对比模型对该组数据进行的预测，衡量这个模型的性能。
  • 真阳性率（True Positive Rate, TPR）、假阳性率（False Positive Rate, FPR）：TPR是召回率的别称，而FPR是1减去特异度（Specificity）。
准确率 （Accuracy）：
Accuracy=\frac{TP+TN}{TP+TN+FP+FN}=\frac{TP+TN}{P+N}

分母是全部四种数据；分子中第一个字母是 T 表示 "算法预测正确了"。

准确率有一个缺点，就是数据的样本不均衡，这个指标是不能评价模型的性能优劣的。

假如一个测试集有正样本999个，负样本1个。我们设计的模型是个无脑模型，即把所有的样本都预测为正样本，那么模型的Accuracy为99.9%，看评价指标，模型的效果很好，但实际上模型没有任何预测能力。


精确率（Precision): 就是预测正确的正例数据占预测为正例数据的比例。

Precision=\frac{TP}{TP+FP}

分母中, TP表示 : 算法预测正确 & 预测的是正例，FP表示 : 算法预测错误 & 预测的是正例（实际是负例）

召回率（Recall）：

recall=\frac{TP}{TP+FN}  

召回率（Recall）是指分类器正确预测为正例的样本数量（True Positives，TP）与所有实际正例的样本数量（True Positives + False Negatives，TP + FN）的比值。召回率表示有多少真正的正例被成功预测出来了。

F1分数（F1 Score）：

 F1分数是精确率和召回率的调和平均值，用于综合考虑分类器的性能。它的计算公式如下：

        F1分数 = 2 * (精确率 * 召回率) / (精确率 + 召回率)

ROC曲线和PR曲线对比：

ROC曲线：

接收者操作特征曲线（Receiver Operating Characteristic Curve），通过改变决策阈值，以真阳性率（TPR）为纵坐标，假阳性率（FPR）为横坐标绘制的曲线。ROC曲线越靠近左上角（0,1）点，模型性能越好。

PR曲线：

精确率-召回率曲线，纵坐标为精确率，横坐标为召回率。在类别不平衡时，尤其是正例较少的情况，PR曲线能更准确地反映出模型性能。

ROC曲线和PR曲线的差异：

  • ROC曲线不依赖于正负样本比例，适合各种样本分布情况下的性能评估。
  • PR曲线在正负样本极度不平衡时更有意义，因为此时ROC曲线上升趋势可能会过于平缓，难以区分模型的好坏。

KNN算法对不同K值下的ROC曲线的分析：

数据集准备：

import numpy as np
import matplotlib.pyplot as plt
from sklearn.datasets import make_classification
from sklearn.model_selection import train_test_split
from sklearn.neighbors import KNeighborsClassifier
from sklearn.metrics import precision_recall_curve, roc_curve, auc

# 生成数据集
X, y = make_classification(n_samples=1000, n_classes=2, n_features=10, random_state=42)

# 划分训练集和测试集
X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.3, random_state=42)

KNN分类器并训练并绘制ROC曲线：

# 定义KNN分类器
knn = KNeighborsClassifier(n_neighbors=2)

# 训练模型
knn.fit(X_train, y_train)

# 预测测试集
y_pred = knn.predict(X_test)

# 计算PR曲线和ROC曲线
precision, recall, _ = precision_recall_curve(y_test, y_pred)
fpr, tpr, _ = roc_curve(y_test, y_pred)
roc_auc = auc(fpr, tpr)


# 绘制ROC曲线
plt.figure(figsize=(8, 6))
plt.plot(fpr, tpr, color='red', lw=2, label='ROC Curve (AUC = %0.2f)' % roc_auc)
plt.plot([0, 1], [0, 1], color='navy', lw=2, linestyle='--')
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc='lower right')
plt.show()

K=1：

K=3:

K=5：

不同K值的分析：

    较小的k值可能导致模型过拟合局部数据结构，而较大的k值可能会导致模型趋于保守和平滑。因此，在实际应用中，选择合适的k值对于优化模型性能至关重要。通过绘制ROC曲线，可以直观地看出这种影响，并据此选择一个在特定任务下具有最佳整体性能的k值。

凯旋yyds
关注
机器学习100天（二十）：020 分类模型评价指标-PR曲线
红色石头的专栏
12-30 989
如图中所示，P-R 曲线的 P 就是精确率（也称为查准率），R 就是召回率（也称为查全率）。对于同一个模型，通过调整分类阈值，可以得到不同的 P-R 值。不同的阈值，计算得到不同的 P 值和 R 值，然后将所有不同阈值下的 P-R 坐标点连接起来，就得到了 P-R 曲线。比较两个分类器好坏时，显然是查得又准又全的比较好，也就是说 PR 曲线越往坐标（1，1）的位置靠近越好。也可以通过平衡点（即查准率=查全率的点，P-R 曲线与这条虚线的交点，称为 Break-Even Point，BEP）来判断。
multiROC：在多类分类中计算和可视化ROC和PR曲线
02-10
多ROC 跨多类分类计算和可视化ROC和PR曲线 接收器工作特性（ROC）和精度召回率（PR）是在各个领域比较二进制分类器的一种广泛使用的方法。 然而，许多现实世界中的问题被设计为多个类别（例如，癌症的肿瘤，淋巴结和转移分期系统），这需要一种评估策略来评估多类别分类器。 该软件包旨在通过使用置信区间计算多类ROC-AUC和PR-AUC并生成多类ROC曲线和PR曲线的发布质量图来填补空白。 可通过访问用户友好的网站。 1引文 一旦发表，请引用我们的论文：（已提交）。 2安装 从GitHub安装multiROC ： install.packages( ' devtools ' ) require( devtools ) install_github( " WandeRum/multiROC " ) require( multiROC ) 从CRAN安装multiROC ： inst
常见的分类模型评估指标(ROC曲线和PR曲线)
wuxudao的博客
04-15 951
真阳性率是指正确预测为正类别的样本占所有实际正类别样本的比例，假阳性率是指错误预测为正类别的样本占所有实际负类别样本的比例。F1分数越高，表示模型的精确率和召回率均较高。（2）P-R曲线则主要关注的是正例（Positive）的预测准确率（Precision）和召回率（Recall）之间的权衡。例如，混淆矩阵可以提供有关模型的真阳性、真阴性、假阳性和假阴性的信息，从而帮助我们理解模型的分类能力和误差类型。增加曲线的面积：由于较小的K值通常可以提高模型的灵敏度和特异度，ROC曲线的面积（AUC值）可能会增加。
机器学习（一）PR曲线和ROC曲线
weixin_52833736的博客
10-17 1460
P-R曲线和ROC曲线
ROC曲线与PR曲线
m0_73707081的博客
04-16 2340
PR曲线（Precision-Recall curve）是另一种评估分类模型性能的工具，通常用于处理不平衡数据集或关注于正类别（少数类别）的分类问题。在PR曲线中，横轴表示召回率（Recall），纵轴表示精确率（Precision）。召回率是指被模型正确识别为正类别的样本数占所有真实正类别样本数的比例，精确率是指被模型正确识别为正类别的样本数占所有模型判定为正类别的样本数的比例。
详解机器视觉性能指标相关概念——混淆矩阵、IoU、ROC曲线、mAP等
m0_49963403的博客
09-16 1625
按照国际惯例，首先声明：本文只是我自己学习的理解，虽然参考了他人的宝贵见解，但是内容可能存在不准确的地方。如果发现文中错误，希望批评指正，共同进步。本文将通过实例系统性说明机器视觉性能相关指标。关于这些指标内容我大体分为2类：图像分类性能指标和图像分割性能指标。
代价曲线分析：提高图像分类模型的准确性
程序员光剑
12-27 324
1.背景介绍 图像分类是计算机视觉领域的一个关键任务，它涉及到将一幅图像分为多个类别的过程。随着深度学习技术的发展，图像分类的准确性也得到了显著提高。然而，在实际应用中，我们还是面临着一些挑战，例如模型的泛化能力、过拟合问题等。为了解决这些问题，我们需要对图像分类模型进行优化，提高其准确性。 在本文中，我们将讨论一种称为“代价曲线分析”的方法，通过调整模型的参数来提高图像分类模型的准确性。我们...
模型评估指标：P-R曲线和ROC曲线
海涛技术漫谈
03-19 1万+
在机器学习建模中，模型评估指标用于评估不同模型的优劣。 在分类任务中，最简单的评估指标莫过于错误率和精度了，错误率表示的是错误分类的样本个数占总样本个数的比例，精度则是1减去错误率。 错误率和精度的优点是：它们不仅仅适用于二分类问题，也同样适用于多分类问题。 但是单单看错误率和精度两个指标无法很好的对模型进行合适的评估。一方面，现在不少的模型最终都是预测一个类别的概率值，为了计算错误率和精度...
分类模型评价指标-ROC AUC
jia_shun_L的博客
11-20 496
1.非均衡分类问题 不同类别的分类代价不相等。 重点：分清楚那个是positive（yes） negative（no） 例如还贷预测模型。垃圾邮件识别中，我们希望识别出所有信用坏的用户以及重要邮件（Negative)，所以希望选精确率高的模型。 例如识别吸毒模型，肿瘤识别模型中，我们希望不漏判吸毒者以及阳性肿瘤患者（positive），所以选召回率高的模型。 2.ROC曲线 复习混淆矩阵 横坐标...
python实现二分类和多分类的ROC曲线教程
12-17
ROC曲线全称为Receiver Operating Characteristic曲线，它主要用于评估一个二分类模型的性能，尤其是在类别不平衡的情况下。ROC曲线通过展示真阳性率（True Positive Rate, TPR，又称召回率）与假阳性率（False ...
main_roc_python_AUC_PR曲线_ROC曲线_
09-29
标题"main_roc_python_AUC_PR曲线_ROC曲线_"和描述中的关键词涉及到的是使用Python语言进行模型评估时的两个关键指标：ROC曲线（Receiver Operating Characteristic Curve）和PR曲线（Precision-Recall Curve），...
深度探讨机器学习中的ROC和PR曲线
热门推荐
yqtao的博客
01-13 4万+
引言\quad 在 21 Must-Know Data Science Interview Questions and Answers 的文章中，有这类似这样的问题，它问的是Explain what precision and recall are. How do they relate to the ROC curve?关于这个问题其实有许多需要回答的，不仅仅是他们的表现形式不同，同时它涉及到下机
机器学习中的PR曲线和ROC曲线
沉心修炼
12-06 4万+
主要是我对周志华《机器学习》第二章模型估计与选择中一些内容的总结
分类算法中的ROC与PR指标
xiahouzuoxin
01-26 2万+
做过图像识别、机器学习或者信息检索相关研究的人都知道，论文的实验部分都要和别人的算法比一比。可怎么比，人多嘴杂，我说我的方法好，你说你的方法好，各做各的总是不行——没规矩不成方圆。于是慢慢的大家就形成了一种约定，用ROC曲线和PR曲线来衡量算法的优劣。关于ROC曲线和PR曲线的详细介绍可参考资料：ROC Analysis and the ROC Convex HullTom Fawcett,An
大型项目的组织结构
小秋 AI SLAM 入门实战教程
11-24 1442
通过publick和privte关键字定义函数和变量的属性来控制别的类可以访问调用的范围，比如说我想让你知道我是怎样完成的我就把我的函数和变量公开，如果我不想让你知道，我就设置成private，换句话说，你不需要知道我具体怎么做的，你给我一个数据，我返回给你一个结果就好了。函数就是通常说的接口了，如果说算法是程序的灵魂，那么这个算法就是通过函数实现的，一个个函数接口相互传递处理的数据的结果，如果回归到C语言函数就是输入数据，经过计算，输出一个数据，函数的操作对象就是数据，数据的形式有基本变量和复合变量。
算法评价指标recall、precision、F1 score介绍及PR曲线代码分析
cc__cc__的博客
04-27 4265
一、算法评价指标介绍 真实值（↓）\\ 预测值（→） Positive Negative Positive True Positive（TP） False Negative（FN） Negative False Positive（FP） True Negative（TN） TP：表示将正类预测为正类的数目 FN：表示将正类预测为负类的数目 ……其余同理，【一致判真假(T/...
图分类！！！
qq_56618414的博客
09-11 1402
1阶相似度用于描述图中成对顶点之间的局部相似度，形式化描述为若 u , v 之间存在直连边，则边权 wuv 即为两个顶点的相似度，若不存在直连边，则1阶相似度为0。如上图，6和7之间存在直连边，且边权较大，则认为两者相似且1阶相似度较高，而5和6之间不存在直连边，则两者间1阶相似度为0。1st order 相似度只能用于无向图当中。DTW最初用于识别语音的相似性。我们用数字表示音调高低，例如某个单词发音的音调为1-3-2-4。现在有两个人说这个单词，一个人在前半部分拖长，其发音为1-1-3-3-2-4；
鸡肉品质分级与分类系统源码分享
最新发布
xuehaikj的博客
09-13 1203
数据集信息展示在现代农业与食品安全领域，鸡肉品质的分级与分类至关重要。为了提升这一过程的效率与准确性，我们构建了一个专门用于训练改进YOLOv8模型的高质量数据集，命名为“chick_detector”。该数据集旨在通过深度学习技术，实现对鸡肉品质的自动化识别与分类，从而为相关行业提供智能化解决方案。
ROC曲线和PR曲线区别
07-11
ROC曲线（Receiver Operating Characteristic Curve）和PR曲线（Precision-Recall Curve）是在二分类问题中常用的评估模型性能的工具，它们有一些区别和特点。 1. 目标不同： - ROC曲线关注的是真正例率（True Positive Rate，即召回率）与假正例率（False Positive Rate）之间的权衡。ROC曲线展示了在不同阈值下，分类器的敏感性和特异性之间的关系。 - PR曲线则关注的是精确率（Precision）与召回率（Recall）之间的权衡。PR曲线展示了在不同阈值下，分类器的预测准确性和查全率之间的关系。 2. 数据分布不平衡时的表现： - ROC曲线对于数据分布不平衡的情况下相对稳定，因为它使用了假正例率作为横轴，而假正例率不受真实负例数量的影响。 - PR曲线在数据分布不平衡时更能准确地反映分类器的性能，因为它使用了精确率作为纵轴，能够展示在正例中的正确预测比例。 3. 敏感性不同： - ROC曲线能够展示分类器在整个概率范围内的性能，对于不同的阈值都可以进行评估。 - PR曲线则更关注分类器在高概率（高置信度）区域的性能，对于低概率的预测结果较为敏感。 总而言之，ROC曲线主要用于评估分类器的整体性能，特别是在样本不平衡的情况下，而PR曲线则更适用于评估分类器在正例预测方面的性能。根据具体问题和需求，选择合适的曲线进行模型性能评估。
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值