ROC曲线以及评估指标F1-Score, recall, precision-整理版

最新推荐文章于 2024-06-19 16:00:00 发布
最新推荐文章于 2024-06-19 16:00:00 发布
阅读量2w 收藏 26
点赞数 7
分类专栏： 机器学习(python)
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/csqazwsxedc/article/details/51509808
版权
  最近一直在看ROC曲线，查阅了一些资料，并进行了整理，文章结尾有原资料链接。希望能节约各位找资料的时间。
ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣 。ROC曲线怎么来的呢，我们来看经典的混淆矩阵：

ROC曲线一般的横轴是FPR，纵轴是FPR。AUC为曲线下面的面积，作为评估指标，AUC值越大，说明模型越好。如下图：

File:Roccurves.png
当然还有其他的一些评估指标，常见的有：ROC、AUC、precision、recall、F1-score。下面是指标详细：

Terminology and derivations
from a  confusion matrix
true positive (TP)
eqv. with hit
true negative (TN)
eqv. with correct rejection
false positive (FP)
eqv. with  false alarm,  Type I error
false negative (FN)
eqv. with miss,  Type II error
sensitivity or  true positive rate (TPR)
eqv. with  hit rate,  recall
\mathit{TPR} = \frac {\mathit{TP}} {P} = \frac {\mathit{TP}} {\mathit{TP}+\mathit{FN}}
specificity (SPC) or  true negative rate (TNR)
\mathit{SPC} = \frac {\mathit{TN}} {N} = \frac {\mathit{TN}} {\mathit{FP} + \mathit{TN}}
precision or  positive predictive value (PPV)
\mathit{PPV} = \frac {\mathit{TP}} {\mathit{TP} + \mathit{FP}}
negative predictive value (NPV)
\mathit{NPV} = \frac {\mathit{TN}} {\mathit{TN} + \mathit{FN}}
fall-out or  false positive rate (FPR)
\mathit{FPR} = \frac {\mathit{FP}} {N} = \frac {\mathit{FP}} {\mathit{FP} + \mathit{TN}} = 1 - \mathit{SPC}
false discovery rate (FDR)
\mathit{FDR} = \frac {\mathit{FP}} {\mathit{FP} + \mathit{TP}} = 1 - \mathit{PPV}
miss rate or  false negative rate (FNR)
\mathit{FNR} = \frac {\mathit{FN}} {P} = \frac {\mathit{FN}} {\mathit{FN} + \mathit{TP}}
accuracy (ACC)
\mathit{ACC} = \frac {\mathit{TP} + \mathit{TN}} {P + N}
F1 score
is the  harmonic mean of  precision and  sensitivity
\mathit{F1} = \frac {2 \mathit{TP}} {2 \mathit{TP} + \mathit{FP} + \mathit{FN}}
Matthews correlation coefficient (MCC)
\frac{ TP \times TN - FP \times FN } {\sqrt{ (TP+FP) ( TP + FN ) ( TN + FP ) ( TN + FN ) } }

Informedness = Sensitivity + Specificity - 1
Markedness = Precision + NPV - 1


以下是指标的介绍：感觉原博主讲的很好，我就不作修改了，复制粘贴排版会乱，就直接截图了。



参考来源：
http://www.w2bc.com/Article/88963
https://en.wikipedia.org/wiki/Receiver_operating_characteristic
a_achengsong
关注
  • 7
    点赞
  • 踩
  • 26
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
机器学习基础概念：查准率、查全率、ROC、混淆矩阵、F1-Score 机器学习实战：分类器
12-21
本文将深入探讨几个关键概念：查准率（Precision）、查全率（Recall）、ROC曲线、混淆矩阵以及F1-Score，这些都是衡量分类器效能的重要指标。 查准率和查全率是评价二分类问题中模型性能的两个基本指标。查准率...
机器学习分类模型评价指标之Accuracy、Precision、Recall、F-Score、P-R Curve、AUC、AP 和 mAP
博观约取，厚积薄发
11-21 6422
本文旨在说明其他机器学习模型的评价指标。
目标检测模型的几个指标
qq_52832321的博客
03-08 3313
F1得分是一个综合了精确率（precision）和召回率（recall）的指标，其计算公式是2 * (精确率 * 召回率) / (精确率 + 召回率)，值范围在0~1之间，取值越大则模型性能越好。精确率（Precision）: Precision 是正确预测为正的样本（TP）占预测为正的总样本（TP+FP）的比例。召回率（Recall）: Recall 是正确预测为正的样本（TP）占实际为正的总样本（TP+FN）的比例。也就是，这些样本是正类，模型预测为正类。也就是，这些样本是负类，模型预测为负类。
多分类问题中评价指标F1-Score 加权平均权重的计算方法
最新发布
weixin_51744807的博客
06-19 1730
    众所周知，F1分数（F1-score）是分类问题的一个衡量指标。在分类问题中，常常将F1-score作为评价分类结果好坏的指标。它是精确率和召回率的调和平均数，值域为[0,1]。 F1=2∗P∗RP+R F_1=2*\frac{P*R}{P+R} F1​=2∗P+RP∗R​     其中，P代表着准确率（Precision），R代表召回率（Recall）。介绍与二分类问题有关的常见几个变量概念。     TP：实际为正类，预测为正类。     FN：实际为正类，预测为负类。     FP：实际为负类
YOLO入门day3
m0_45056394的博客
07-23 2521
矩阵的每一行代表实际的类别，而每一列代表预测的类别，上图为例，只区分0或者1，行代表真实的类别，列代表预测的类别，白话一点的意思差不多就是，左上角和右下角属于真实类别和预测类别相吻合的实例区域，而其他区域都出现了预测错误的实例，从这个角度来看结果还是可以的？同样以第一行为例，真实的标签是猫猫，但是在这十个猫猫中有一个被误分类为狗，一个被误分类为羊，我们就可以很容易的计算出猫的分类正确率为80%，也可以很直观的看出有那些类别容易存在误识别。AP值的大小等于P-R曲线与坐标轴围成区域的面积。.........
YOLOv8性能评估指标-＞mAP、Precision、Recall、FPS、IoU
热门推荐
Snu77的博客
11-02 5万+
这篇博客，主要给大家讲解我们在训练yolov8时生成的结果文件中各个图片及其中指标的含义，帮助大家更深入的理解，以及我们在评估模型时和发表论文时主要关注的参数有那些。本文通过举例训练过程中的某一时间的结果来帮助大家理解，大家阅读过程中如有任何问题可以在评论区提问出来，我会帮助大家解答。首先我们来看一个在一次训练完成之后都能生可以评估YOLOv8模型在目标检测任务中的准确性、召回率、速度和边界框质量等性能表现。根据具体需求，我们可以选择更适合任务场景的模型和参数配置。最后祝大家学习顺利，科研成功，多多论文！！
F-score和ROC曲线评价方法
m0_60790618的博客
04-01 3869
1、F-score 1.1、 真阳性TP（True Positive）：将正类预测为正类 假阴性FN（False Negative）：将正类预测为负类 假阳性FP（False Positive）：将负类预测位正类 真阴性TN（True Negative）：将负类预测位负类 1.2、 精准率（Precision）= TP/（TP+FP）所有预测的正类中有多少真实标签为正样本 召回率（Recall） = TP/（TP+FN）所有真实标签为正的样本有多少被预测为正 检测阳性 检测阴
AI系统量化评价-模型评估方法、网络评价指标
02-03
- **ROC曲线**：显示了不同阈值下的真正例率（True Positive Rate）和假正例率（False Positive Rate），用于评估模型的识别能力。 3. **目标检测评估**：目标检测任务的评估通常涉及边界框的重叠度计算，如IoU...
在pytorch 中计算精度、回归率、F1 score等指标的实例
09-18
在PyTorch中，训练深度学习模型后，评估模型性能是非常关键的步骤。通常我们会关注几个重要的指标，如...在实际应用中，还可能需要关注其他指标，如精确率-召回率曲线（Precision-Recall Curve）、ROC曲线和AUC值等。
intent-score
03-08
5. **评估指标**：项目可能包含常见的评估指标，如精确率（Precision）、召回率（Recall）、F1分数以及AUC-ROC曲线，这些指标用于衡量模型在不同置信度阈值下的性能。 6. **可视化工具**：为了便于理解和调试，...
机器学习性能度量指标（precision、recall、PR曲线、F1、ROC、AUC、IOU、mAP）
xhj_enen的博客
03-18 1万+
1、precision、recall、PR curve、F1 在信息检索等任务中，我们经常会关心“检索出的信息中有多少比例是用户感兴趣的”以及“用户感兴趣的信息中有多少被检索出来了”。precision（查准率）与recall（查全率）就是此类需求的性能度量指标。 对于一个二分类问题，我们可以根据模型的分类结果将其分为四类：TP、FP、TN、FN 则查准率与查全率的定义分别为： precisio...
【机器学习】机器学习分类器性能评判标准（Accuracy、Precision、Recall、P-R曲线、F1 Score、Confuse Matrix等）你是否真的懂了？
让算法融入生活，改变生活！
08-16 2674
文章目录前言1 准确率（Accuracy）2 精确率（Precision）3 召回率（Recall）4 P-R曲线5 F1-Score6 ROC曲线7 AUC值8 混淆矩阵9 多分类参考文献 前言 在机器学习算法中，在模型训练出来之后，总会去寻找衡量模型性能的指标。评价指标是针对将相同的数据，使用不同的算法模型，或者输入不同参数的同一种算法模型，而给出这个算法或者参数好坏的定量指标。 在模型评估过程中，往往需要使用多种不同的指标协作评估一个模型的好坏，因为众多的评价指标中，大部分指标只能片面的反应模型的一部
AP、mAP、F1 Score、PR曲线、ROC曲线
mathnan的专栏
03-19 2770
1. 基础概念 混淆矩阵： 通过研究该混淆矩阵，可以构造如下几个指标： (1) Accuracy(准确度)： 意义：用于同时衡量分类器对于正负样本的分类正确性。 不足：当测试样本不平衡时，该指标会失去意义。例如：100个样本中负样本占有98个，那么分类器只需将所有样本分为负类即可达到98%的准确度。 公式：accuracy=TP+FNTP+FN+FP+TNaccuracy = \frac{TP + FN}{TP+FN+FP+TN}accuracy=TP+FN+FP+TNTP+FN​ (2) Prece
机器学习分类问题指标理解——准确率(accuracy)、精确率(precision)、召回率(recall)、F1-Score、ROC曲线、P-R曲线、AUC面积
Michael的博客
03-18 1万+
简单理解分类问题的7项模型评估指标：准确率(accuracy)、精确率(precision)、召回率(recall)、F1-Score、ROC曲线、P-R曲线、AUC面积
召回率，准确率，F-score，ROC曲线，AUC值
weixin_43082343的博客
10-21 748
机器学习、深度学习性能指标recall precision fscoreIOUmapROC-AUC感受野（receptive field） recall precision fscore IOU map ROC-AUC 感受野（receptive field）
模型评估指标_精准率、召回率、F1-score、ROC曲线、AUC曲线
PuJiang-的博客
05-05 3469
一、分类结果混淆矩阵 1、T、F、P、N辨析 P(Positive)、N(Negative)针对的是预测值的结果。 P表示对样本的预测结果为正例， N表示对样本的预测结果为反例。 T(True)、F(False)针对的是预测值的结果是否预测对了。 TP表示对该样本预测结果为正例，同时预测对了，真实标签和预测标签都为正例， FP表示对该样本预测结果为正例，但是预测错了，真实标签为反例，预测标签为正例， TN表示对该样本预测结果为反例，同时预测对了，真是标签和预测标签都为反例， FN表示对该样本预测结果为反
ROC曲线与AUC
ice110956的专栏
03-02 3万+
对于0,1两类分类问题,一些分类器得到的结果往往不是0,1这样的标签,如神经网络,得到诸如0.5,0,8这样的分类结果.这时,我们人为取一个阈值,比如0.4,那么小于0.4的为0类,大于等于0.4的为1类,可以得到一个分类结果。同样,这个阈值我们可以取0.1,0.2等等。取不同的阈值,得到的最后的分类情况也就不同。 阈值不同,可以得到不同的结果,但是由分类器决定的统计图始终是不变的。这时候就需要一个独立与阈值,只与分类器有关的评价指标,来衡量特定分类器的好坏。 还有在类不平衡的情况下,如正样本90个,负样本
召回率R,精确率P,精度accuracy,F1计算
qq_41299133的博客
12-15 2698
召回率R,精确率P,精度accuracy,F1计算一、召回率R,精确率P,精度accuracy,F1定义二、使用步骤参考 一、召回率R,精确率P,精度accuracy,F1定义 二、使用步骤 from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score #1表示白球，0表示黑球 y_true = [1, 1, 1, 0, 0, 0, 1, 0, 0, 1] y_pred = [1, 1, 0,
F1与Acc
qq_42178122的博客
07-30 2331
Acc为准确率, F1为精确率. 两者很像，但是并不同，简单来说两者的目的对象并不相同。 1.精确度 2.准确率 accuracy =(TP+TN)/(TP+FN+FP+TN) 参考链接：http://www.bubuko.com/infodetail-2343224.html
对pandas读取的数据进行逻辑回归评价预测，包括精确率与召回率、F1-score、ROC曲线与AUC指标代码
06-09
from sklearn.metrics import accuracy_score, precision_score, recall_score, f1_score, roc_auc_score, roc_curve import matplotlib.pyplot as plt # 1. 数据读取与处理 data = pd.read_csv('data.csv') X = ...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值