分类模型常见F1分数、精确率、召回率、正确率、虚警率和漏检率、平衡精度、AUC等性能评价指标

最新推荐文章于 2024-06-19 16:00:00 发布
置顶 最新推荐文章于 2024-06-19 16:00:00 发布
阅读量7.7k 收藏 55
点赞数 9
分类专栏： # Outlier Detection 机器学习 文章标签： 机器学习 异常检测 深度学习 分类模型 性能评价指标
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_16488989/article/details/109090801
版权 
21.8.2更新平衡精度（Balanced-Accuracy）、TPR、TNR、AUC和ROC曲线

目录

1、常见的几种预测情况

TP ,True Positive,表示把正类预测为正类
TN,True Negative,表示把负类样本预测为负类
FP,False Positive,表示把负类预测为正类
FN,False Negative,表示把正类预测为负类。

这个是需要记忆的。T代表正确预测，F代表错误预测。P代表正类，N代表负类。

“狼来了”的故事模型
在这里插入图片描述

2、精确率和召回率（Precision And Recall）

精确度/精确率（Precision）是针对预测结果而言的，表示预测为正的样本中真正的正样本占比。预测为正分两种情况，一种是把正类预测为正类(TP)，另一种是把负类预测为正类(FP)，即
在这里插入图片描述
召回率/真阳性率（Recall）是针对原来的样本而言的，表示样本中的正类有多少被预测正确了。同样分两种情况，一种是把原来的正类预测成正类(TP)，另一种就是把原来的正类预测为负类(FN)，即
在这里插入图片描述
要全面评估模型的有效性，必须同时检查精确率和召回率。遗憾的是，精确率和召回率往往是此消彼长的情况。也就是说，提高精确率通常会降低召回率值。

3、F1-分数（F1-Score）

精确率(Precision)和召回率(Recall)评估指标,理想情况下做到两个指标都高当然最好，但一般情况下，Precision高，Recall就低，Recall高，Precision就低。

所以在实际中常常需要根据具体情况做出取舍，例如一般的搜索情况，在保证召回率的条件下，尽量提升精确率。而像癌症检测、地震检测、金融欺诈等，则在保证精确率的条件下，尽量提升召回率。

引出了一个新的指标F-score,综合考虑Precision和Recall的调和值。
在这里插入图片描述
· 当β=1时，称为 F1-score或者 F1-Measure，这时，精确率和召回率都很重要，权重相同。
· 当有些情况下，我们认为精确率更重要些，那就调整β的值小于1，
· 如果我们认为召回率更重要些，那就调整β的值大于1。
常见的F1分数**(F1-Score**)计算公式如下：
在这里插入图片描述
举个例子：某地区新冠病毒检查数据样本有10000个，其中5个样本核酸检测呈阳性，其它多次检测都是阴性。假设分类模型在多次检测都是阴性的数据9995中预测正确了9990个，在5个核酸检测呈阳性数据中预测正确了4个，此时TP（正->正）=4，TN（负->负）=9990，FP(负->正)=5，FN(正->负)=1。
注：这里正类表示核酸检测呈阳性，负类表示多次检测呈阴性。
根据准确度（准确率），精确率和召回率的计算公式：
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

Accuracy = (4+9990) /10000=99.94% 
Precision = 4/(4+5)= 44.44% 
Recall = 4/(4+1) = 80.00%
F1-score=2×(44.44% × 80%)/(1×44.44%+80%)=57.13% 
F2-score=5× (44.44% × 80%)/(4×44.44%+80%)=68.96%

4、其他常见性能评价指标

正确率/准确度(Accuracy)表示正负样本被正确分类的比例在这里插入图片描述

虚警率（False alarm）表示负类样本被分为正类样本比例。
在这里插入图片描述
对应上述的例子就是1/5,20%

漏警率表示（Missing alarm）表示正类样本被分为负类样本的比例。
在这里插入图片描述
对应上述的例子就是5/9995,0.05%

5、平衡精度（Balanced Accuracy）

补充 ：其实TPR就是召回率。
在这里插入图片描述
TNR（True Negative Rate）可以理解为所有负类中，有多少被预测成负类 （负类预测正确），给出定义如下：
在这里插入图片描述
说完这两个概念以后，我们来了解平衡精度，它的提出是为了解决异常检测问题中样本数据不均衡的问题。试想如果一个异常检测任务的异常样本占比很小很小（比如0.1%）,那么全部样本预测为负，准确率就达到了99.9%，这样显然不能达到我们检测的目标，因为正类本来就少还没检测出来。
在这里插入图片描述

6、AUC

同样是为了规避样本不均匀带来的问题，AUC是通过以虚警率FPR为X轴，召回率TPR为y轴所绘制的ROC曲线下的面积。

还是异常检测的例子，如果使用AUC，把所有样本预测为负例，TPRate和FPRate同时为0（没有Positive），与(0,0) (1,1)连接，得出AUC仅为0.5，成功规避了样本不均匀带来的问题。

在这里插入图片描述

参考

1.https://blog.csdn.net/sinat_35821976/article/details/81334181
2.https://blog.csdn.net/And_ZJ/article/details/105917794
3.http://www.mashangxue123.com/%E6%B7%B1%E5%BA%A6%E5%AD%A6%E4%B9%A0/1969668933.html
4.https://www.cnblogs.com/wushaogui/p/9146049.html
5.https://blog.csdn.net/saltriver/article/details/74012163
6.https://blog.csdn.net/zhq9695/article/details/82909967
7.https://blog.csdn.net/shiyuzuxiaqianli/article/details/99706843
8.https://www.zhihu.com/question/39840928

疯狂java杰尼龟
关注
  • 9
    点赞
  • 踩
  • 55
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
可能是最全的机器学习模型评估指标总结
thothsun 的博客
04-18 8933
本文参考了 scikit-learn 的官方文档的模型评估章节的部分内容，总结了常用的分类、聚类和回归模型的模型评估指标。 目录： 分类模型的度量 聚类模型的度量 回归模型的度量 符号定义： yyy：真实值，y^\hat{y}y^​：预测值，nnn：样本数 一、分类模型的度量 1.accuracy（准确率） 预测正确的样本占全部样本的比例，公式为： accuracy(y,y^)=1n∑i=0n...
在pytorch 中计算精度、回归率、F1 score等指标的实例
09-18
F1分数是精度和召回率的调和平均数，它考虑了两者之间的平衡，尤其适用于类别不平衡的情况。F1分数越高，说明模型的表现越好。其计算公式为： ```python F1 = 2 * r * p / (r + p) ``` 其中，`p`是精度（Precision...
介绍平衡准确率（Balanced Accuracy）和加权 F1 值（Weighted F1）
叶庭云 成为自己的光
03-02 2863
介绍平衡准确率（Balance Accuracy）和加权 F1 值（Weighted F1）
多分类问题中评价指标F1-Score 加权平均权重的计算方法
最新发布
weixin_51744807的博客
06-19 1692
    众所周知，F1分数（F1-score）是分类问题的一个衡量指标。在分类问题中，常常将F1-score作为评价分类结果好坏的指标。它是精确率和召回率的调和平均数，值域为[0,1]。 F1=2∗P∗RP+R F_1=2*\frac{P*R}{P+R} F1​=2∗P+RP∗R​     其中，P代表着准确率（Precision），R代表召回率（Recall）。介绍与二分类问题有关的常见几个变量概念。     TP：实际为正类，预测为正类。     FN：实际为正类，预测为负类。     FP：实际为负类
评价指标 balanced accuracy
千行百行的博客
08-18 1万+
在开发和评价一个异常检测系统中提到了各种评价指标，比较了各种指标，感觉对于非平衡数据来说balanced accuracy1更合适一点。 搬运一下原文如下1： 不得不说wiki整理的还是很全面的，忍不住再贴两张1 https://en.wikipedia.org/wiki/Precision_and_recall#Imbalanced_Data ↩︎ ↩︎ ↩︎ ...
【机器学习】一文读懂准确率、精确率、召回率、F1分数、ROC-AUC都是什么
AlexFaker的博客
08-28 1万+
在机器学习中衡量一个模型是否准确我们有很多指标： 准确率 - accuracy 精确率 - precision 召回率 - recall F1分数-F1 score ROC曲线下面积 - ROC-AUC （area under curve） 那么，这些指标到底都是什么呢？各自有什么优缺点呢？笔者在了解这些指标的时候是在网上各大网站（CSDN、博客园、知乎）上找文章学习的。但是这些文章要么是过于数学化，要么是有地方不那么好读（前后变量不一致导致阅读苦难）、要么是过于“去数学化”。我自己整理了一份学习笔记，一定
详解准确率、精确率、召回率、F1值的含义
热门推荐
小白之比白更白的博客
10-30 2万+
机器学习问题之中，通常需要建立模型来解决具体问题，但对于模型的好坏，也就是模型的泛化能力，如何进行评估呢？ 很简单，我们可以定一些评价指标，来度量模型的优劣。比如准确率、精确率、召回率、F1值、ROC、AUC等指标，但是你清楚这些指标的具体含义吗？下面我们一起来看看吧。 1.混淆矩阵 介绍各个指标之前，我们先来了解一下混淆矩阵。假如现在有一个二分类问题，那么预测结果和实际结果两两结合会出现如下四种情况。 由于用数字1、0表示不太方便阅读，我们转换一下，用T(True)代表正确、F(Fals.
模型评价指标——分类
我的博客
01-24 685
回归 分类 聚类 降维
ROC.rar_ROC对比_detection rate_roc_检率_正确率 误检率
09-23
标题中的“ROC.rar_ROC对比_detection rate_roc_检率_正确率_误检率”表明这个压缩包包含的内容主要涉及ROC曲线的分析、比较以及检测率、正确率和误检率等相关指标。 ROC曲线的构建是基于不同的阈值对预测结果进行...
Svm.tar.gz_AUC_SVM 率_matlab svm准确率_遗传优化SVM_遗传算法 svm
07-15
遗传算法优化支持向量机，并计算AUC值,计算准确率
黑色素瘤癌症图像数据集 JPG（13900 张高分辨率图）
02-22
常见的评估指标包括精度、召回率、F1分数以及AUC-ROC曲线，这些可以帮助分析模型在正负样本识别上的平衡性。 总的来说，"黑色素瘤癌症图像数据集 JPG（13900 张高分辨率图）"是推动医疗图像识别领域发展的重要工具...
机器学习基础概念：查准率、查全率、ROC、混淆矩阵、F1-Score 机器学习实战：分类器
12-21
通过混淆矩阵，我们可以全面了解分类器的性能，包括精确度（Accuracy）、召回率（Recall，同查全率）和F1分数。 F1-Score是查准率和查全率的调和平均数，用于综合考虑两者，尤其是当正负样本不平衡时，F1-Score能更...
模型评估-性能度量(分类问题)
温染的笔记
05-30 6145
对学习器的泛化性能进行评估，不仅需要有效可行的实验估计方法，还需要有衡量模型泛化能力的评价标准，这就是性能度量（performance measure）。 性能度量反映了任务需求，在对比不同模型的能力时，使用不同的性能度量往往会导致不同的评判结果，这意味着模型的“好坏”是相对的，什么样的模型是好的，不仅取决于算法和数据，还决定于任务需求。 在预测任务中，给定数据集 D=(x1,y1),(x2,y2...
F1分数（F1-Score）
weixin_44299786的博客
09-22 7901
精确率（Precision）是指分类器正确预测为正例的样本数量（True Positives，TP）与所有被分类为正例的样本数量（True Positives + False Positives，TP + FP）的比值。召回率（Recall）是指分类器正确预测为正例的样本数量（True Positives，TP）与所有实际正例的样本数量（True Positives + False Negatives，TP + FN）的比值。F1分数是精确率和召回率的调和平均值，用于综合考虑分类器的性能。
【机器学习】分类算法评估指标全总结(2023最新整理)关键词：准确率Accuracy、精确率Precision、召回率Recall、Micro F1、P-R、ROC、MCC、Cohen‘s kappa
Next_SummerAgain的博客
03-20 1万+
评估指标是针对模型性能优劣的一个定量指标。一种评价指标只能反映模型一部分性能，如果选择的评价指标不合理，那么可能会得出错误的结论，故而应该针对具体的数据、模型选取不同的的评价指标。 针对不同类型的学习任务，我们有不同的评估指标，这里我们来介绍最常见的分类算法的一些评估指标。常用的分类任务评价指标有准确率（Accuracy）、精确率（Precision）、召回率（Recall）、Macro F1、Micro F1、P-R曲线（Precision-Recall Curve）、ROC、AUC、MCC、Cohen
目标检测--精确度(precision), 准确率(accuracy), 召回率(recall), 漏检率, 虚警率
qq_29007291的博客
01-08 1万+
假设: 一组样本，个数为，正例有P个，负例有N个， 算法结果: 判断为正例的正例有TP个，判断为负例的正例有FN个(假的负例）P=TP+FN 判断为负例的负例为TN个，判断为正例的负例有FP个（假的正例）N=TN+FP 指标计算: 精确度（Precision）P=所有判断为正例的例子中，真正为正例的所占的比例=TP/(TP+FP) 准确率（Accuracy）A=判断正确的例子的比例=（TP+TN）...
f1分数是如何计算出来的?
weixin_44943389的博客
10-07 678
F1分数是一个用于评估分类模型性能的指标，它综合考虑了模型的精确度（Precision）和召回率（Recall）两个方面。F1分数是一个重要的指标，特别适用于处理类别不平衡的数据集，因为它综合考虑了正类别和负类别的预测性能。总的来说，F1分数可以帮助你评估分类模型在正类别预测的准确性和负类别预测的召回率之间的平衡情况。召回率衡量了模型在所有实际正类别的样本中，有多少被正确地预测为正类别。精确度衡量了模型在所有预测为正类别的样本中，有多少是真正的正类别。
数据分类评价指标
zhao527254253的博客
08-29 1778
主要是机器学习评估指标的定义和介绍。
F1得分的具体公式
qlkaicx的博客
02-28 4974
F1得分是精确率（Precision）和召回率（Recall）的调和平均数，常用于评估二分类模型的性能。需要注意的是，F1得分同时考虑了精确率和召回率，因此能够更全面地评估模型的性能。这个公式可以用来计算给定一组预测结果的F1得分，从而评估模型的性能。
pytorch计算图像分类模型评价指标准确率、精确率、召回率、F1值、AUC的示例代码
03-14
以下是一个使用 PyTorch 计算图像分类模型评价指标的示例代码： ```python import torch import torch.nn.functional as F from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score # 假设我们有一个模型和测试数据集 model = MyModel() test_loader = DataLoader(test_dataset, batch_size=32) # 评估模型 model.eval() y_true = [] y_pred = [] with torch.no_grad(): for images, labels in test_loader: outputs = model(images) _, predicted = torch.max(outputs.data, 1) y_true += labels.tolist() y_pred += predicted.tolist() # 计算各种评价指标 accuracy = accuracy_score(y_true, y_pred) precision = precision_score(y_true, y_pred, average='macro') recall = recall_score(y_true, y_pred, average='macro') f1 = f1_score(y_true, y_pred, average='macro') probas = F.softmax(outputs, dim=1) auc = roc_auc_score(y_true, probas[:, 1]) # 打印结果 print(f"Accuracy: {accuracy:.4f}") print(f"Precision: {precision:.4f}") print(f"Recall: {recall:.4f}") print(f"F1 score: {f1:.4f}") print(f"AUC: {auc:.4f}") ``` 请注意，这只是一个示例代码，你需要根据你的具体情况进行修改。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

疯狂java杰尼龟

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值