准确率、召回率、F1、ROC曲线、AUC曲线、PR曲线基本概念

最新推荐文章于 2024-05-28 19:23:21 发布
最新推荐文章于 2024-05-28 19:23:21 发布
阅读量7.6k 收藏 12
点赞数 3
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/SMith7412/article/details/88087819
版权

查准率P、查全率R和F1概念：

混淆矩阵：

预测值为正例，记为P（Positive）
预测值为反例，记为N（Negative）
预测值与真实值相同，记为T（True）
预测值与真实值相反，记为F（False）
在这里插入图片描述
TP：预测类别是P（正例），真实类别也是P

FP：预测类别是P，真实类别是N（反例）
TN：预测类别是N，真实类别也是N
FN：预测类别是N，真实类别是P
样本中的真实正例类别总数即TP+FN。TPR即True Positive Rate，

              准确率（查准率）：TPR = TP/(TP+FN)

样本中的真实反例类别总数为FP+TN。FPR即False Positive Rate

              召回率（查全率）：FPR = FP/(TN+FP)

PR曲线：

在这里插入图片描述

F1 是精确率和召回率的调和平均。
frac{2}{F1} = \frac{1}{P} + \frac{1}{R}
在这里插入图片描述

ROC曲线

对于0,1两类分类问题,一些分类器得到的结果往往不是0,1这样的标签,如神经网络,得到诸如0.5,0,8这样的分类结果。这时,我们人为取一个阈值,比如0.4,那么小于0.4的为0类,大于等于0.4的为1类,可以得到一个分类结果。同样,这个阈值我们可以取0.1,0.2等等。取不同的阈值,得到的最后的分类情况也就不同。

如下面这幅图:
在这里插入图片描述

蓝色表示原始为负类分类得到的统计图,红色为正类得到的统计图。那么我们取一条直线,直线左边分为负类,右边分为正,这条直线也就是我们所取的阈值。

阈值不同,可以得到不同的结果,但是由分类器决定的统计图始终是不变的。这时候就需要一个独立于阈值,只与分类器有关的评价指标,来衡量特定分类器的好坏。

还有在类不平衡的情况下,如正样本90个,负样本10个,直接把所有样本分类为正样本,得到识别率为90%。但这显然是没有意义的。

如上就是ROC曲线的动机。

放在具体领域来理解上述两个指标。
如在医学诊断中,判断有病的样本。
那么尽量把有病的揪出来是主要任务,也就是第一个指标TPR,要越高越好。
而把没病的样本误诊为有病的,也就是第二个指标FPR,要越低越好。

不难发现,这两个指标之间是相互制约的。如果某个医生对于有病的症状比较敏感,稍微的小症状都判断为有病,那么他的第一个指标应该会很高,但是第二个指标也就相应地变高。最极端的情况下,他把所有的样本都看做有病,那么第一个指标达到1,第二个指标也为1。

我们以FPR为横轴,TPR为纵轴,得到如下ROC空间。
在这里插入图片描述

我们可以看出,左上角的点(TPR=1,FPR=0),为完美分类,也就是这个医生医术高明,诊断全对。

点A(TPR>FPR),医生A的判断大体是正确的。中线上的点B(TPR=FPR),也就是医生B全都是蒙的,蒙对一半,蒙错一半;下半平面的点C(TPR<FPR),这个医生说你有病,那么你很可能没有病,医生C的话我们要反着听,为真庸医。

上图中一个阈值,得到一个点。现在我们需要一个独立于阈值的评价指标来衡量这个医生的医术如何,也就是遍历所有的阈值,得到ROC曲线。

还是一开始的那幅图,假设如下就是某个医生的诊断统计图,直线代表阈值。我们遍历所有的阈值,能够在ROC平面上得到如下的ROC曲线。

在这里插入图片描述

曲线距离左上角越近,证明分类器效果越好。

在这里插入图片描述

如上,是三条ROC曲线,在0.23处取一条直线。那么,在同样的低FPR=0.23的情况下,红色分类器得到更高的PTR。也就表明,ROC越往上,分类器效果越好。我们用一个标量值AUC来量化他。

ROC曲线：
ROC曲线

AUC

AUC值为ROC曲线所覆盖的区域面积,显然,AUC越大,分类器分类效果越好。

AUC = 1，是完美分类器，采用这个预测模型时，不管设定什么阈值都能得出完美预测。绝大多数预测的场合，不存在完美分类器。

0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。

AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

AUC的物理意义
假设分类器的输出是样本属于正类的socre（置信度），则AUC的物理意义为，任取一对（正、负）样本，正样本的score大于负样本的score的概率。

计算AUC:
第一种方法:AUC为ROC曲线下的面积,那我们直接计算面积可得。面积为一个个小的梯形面积之和。计算的精度与阈值的精度有关。

第二种方法:根据AUC的物理意义,我们计算正样本score大于负样本的score的概率。取NM(N为正样本数,M为负样本数)个二元组,比较score,最后得到AUC。时间复杂度为O(NM)。

第三种方法:与第二种方法相似,直接计算正样本score大于负样本的概率。我们首先把所有样本按照score排序,依次用rank表示他们,如最大score的样本,rank=n(n=N+M),其次为n-1。那么对于正样本中rank最大的样本,rank_max,有M-1个其他正样本比他score小,那么就有(rank_max-1)-(M-1)个负样本比他score小。其次为(rank_second-1)-(M-2)。最后我们得到正样本大于负样本的概率为

在这里插入图片描述

时间复杂度为O(N+M)。

参考：
1.ROC曲线与AUC：https://blog.csdn.net/ice110956/article/details/20288239
2.ROC与AUC的定义与使用详解：https://blog.csdn.net/shenxiaoming77/article/details/72627882
3.周志华西瓜书第二章

c_木ss
关注
  • 3
    点赞
  • 踩
  • 12
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
机器学习性能指标精确率、召回率、F1值、ROC、PRC与AUC
一路前行
10-15 1万+
精确率、召回率、F1、AUC和ROC曲线都是评价模型好坏的指标,那么它们之间有什么不同，又有什么联系呢。下面让我们分别来看一下这几个指标分别是什么意思。 针对一个二分类问题，将实例分成正类(postive)或者负类(negative)。但是实际中分类时，会出现四种情况. (1)若一个实例是正类并且被预测为正类，即为真正类(True Postive TP) (2)若一个实例是正类，但是被预
roc曲线matlab怎么做,ROC曲线Matlab程序
weixin_35702295的博客
03-17 1096
最近在做一个模型，用到了ROC曲线。ROC(Receiver Operating Characteristic,受试者工作特征的缩写)曲线是一个非常有用的技术，经常用来组织分类器，可视化分类器的性能。可作为某一诊断方法准确性评价的指标。在医学上用的较多，同样在地质领域也可以进行缓坡敏感性评价及构建成矿预测模型。function [tp, fp] = roc(t, y)%% ROC - genera...
分类模型评估指标——准确率、精准率、召回率、F1、ROC曲线、AUC曲线
ZJQ的博客
08-27 3925
机器学习模型需要有量化的评估指标来评估哪些模型的效果更好。本文将用通俗易懂的方式讲解分类问题的混淆矩阵和各种评估指标的计算公式。将要给大家介绍的评估指标有：准确率、精准率、召回率、F1、ROC曲线、AUC曲线。
Yolo F1_Confidence Cure 和 P_curve
最新发布
weixin_58473494的博客
05-28 318
P_curve"通常指的是 Precision-Recall Curve（精确率-召回率曲线），在目标检测任务中，精确率指的是检测出的目标中真正为目标比例，而召回率(Recall)指的是真正为目标的样本中成功被检测出的比例，P_curve 展示了在不同阈值下模型的精确率和召回率之间的权衡关系。例如，如果有10个真正的目标，模型检测出了7个，那么召回率就是70%。1.精确率(Precision)：指的是检测出的目标中真正目标的比例，例如，如果模型检测出10个目标，其中8个为真正的目标，那么精确率是80%
机器学习基础-PR\ROC\F1
qq_45906101的博客
04-20 329
PC曲线就是精准率与召回率曲线，精准率与召回率是相爱相杀的，比如，当我们阈值很高的时候，精准率就会很高，精准率就是预测出来的阳性有多少是真阳性，阈值高，我们测出来的阳性一般都是真的，此时召回率就低，召回率是真的阳性中有多少被预测出来的，因为阈值变高了，我们预测出来的阳性很少。如图，就是根据阈值不同，我们看我们的二分类器的结果，根据结果算出TPR(真阳性)与FPR(假阳性)，最好的情况就是如图，我们的ROC曲线越靠近左上角，越好，当然，有一条基准线，就是y=x。，我们更需要关注的是 FP而不是FN。
【机器学习】机器学习分类器性能评判标准（Accuracy、Precision、Recall、P-R曲线、F1 Score、Confuse Matrix等）你是否真的懂了？
让算法融入生活，改变生活！
08-16 2645
文章目录前言1 准确率（Accuracy）2 精确率（Precision）3 召回率（Recall）4 P-R曲线5 F1-Score6 ROC曲线7 AUC值8 混淆矩阵9 多分类参考文献 前言 在机器学习算法中，在模型训练出来之后，总会去寻找衡量模型性能的指标。评价指标是针对将相同的数据，使用不同的算法模型，或者输入不同参数的同一种算法模型，而给出这个算法或者参数好坏的定量指标。 在模型评估过程中，往往需要使用多种不同的指标协作评估一个模型的好坏，因为众多的评价指标中，大部分指标只能片面的反应模型的一部
matlab画ROC曲线
08-31
使用matlab画ROC曲线，% predict - 分类器对测试集的分类结果 % ground_truth - 测试集的正确标签,这里只考虑二分类，即0和1 % auc - 返回ROC曲线的曲线下的面积
ROC曲线与AUC
热门推荐
ice110956的专栏
03-02 3万+
对于0,1两类分类问题,一些分类器得到的结果往往不是0,1这样的标签,如神经网络,得到诸如0.5,0,8这样的分类结果.这时,我们人为取一个阈值,比如0.4,那么小于0.4的为0类,大于等于0.4的为1类,可以得到一个分类结果。同样,这个阈值我们可以取0.1,0.2等等。取不同的阈值,得到的最后的分类情况也就不同。 阈值不同,可以得到不同的结果,但是由分类器决定的统计图始终是不变的。这时候就需要一个独立与阈值,只与分类器有关的评价指标,来衡量特定分类器的好坏。 还有在类不平衡的情况下,如正样本90个,负样本
MATLAB绘制ROC曲线
WW、forever的博客
03-12 5201
MATLAB绘制ROC曲线
ROC曲线 matlab实现
04-24
　接受者操作特性曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是在几种不同的判定标准下所得的结果而已。接受者操作特性曲线就是以虚惊概率为横轴，击中概率为纵轴所组成的坐标图，和被试在特定刺激条件下由于采用不同的判断标准得出的不同结果画出的曲线。
python实现二分类和多分类的ROC曲线教程
12-17
ROC曲线通过展示真阳性率（True Positive Rate, TPR，又称召回率）与假阳性率（False Positive Rate, FPR）之间的关系，帮助我们理解模型的识别能力。 首先，让我们了解一些关键的评估指标： 1. **Precision**：...
roc jianli
08-07
1. ROC曲线的基本概念： - 真正率（TPR）：也称为灵敏度或召回率，是指真正例（True Positives）占所有正例的比例，表示模型识别出正类的能力。 - 假正率（FPR）：也称为漏报率，是指假正例（False Positives）占...
PR-Tool-4.rar_pattern recognition
09-24
5. **性能评估**：工具箱包含了多种性能评估指标，如准确率、召回率、F1分数、ROC曲线和AUC值，以量化模型的性能。这些指标有助于比较不同分类器的表现，以及在训练集和测试集之间评估过拟合和欠拟合情况。 6. **...
PR_模式识别课程作业_
10-01
6. **评估指标**：准确率、召回率、F1分数、AUC-ROC曲线等都是常见的分类效果评估指标，用于衡量模型在未知数据上的预测能力。 7. **混淆矩阵**：评估模型分类结果时，混淆矩阵能直观地展示真阳性、真阴性、假阳性...
Machine learning evaluation metrics, implemented in Pytho
07-17
4. **F1分数(F1 Score)**：F1分数是精确率和召回率的调和平均值，是综合考虑两者的表现。 5. **ROC曲线和AUC值**：ROC曲线描绘了真正例率（TPR）与假正例率（FPR）之间的关系，AUC值是ROC曲线下面积，范围在0到1...
判断 点在曲线上_ROC曲线应该怎么看？
weixin_42515158的博客
01-10 1104
Roc曲线，也称“受试者工作特征曲线”，或者感受性曲线，抛开这写难记的名字不谈，今天主要来谈谈它的用法以及如何解读。应用场景ROC曲线主要是用于X对Y的预测准确率情况。最初ROC曲线是运用在军事上，现在更多应用在医学领域，判断某种因素对于某种疾病的诊断是否有诊断价值。简单理解ROC曲线ROC曲线图是反映敏感性与特异性之间关系的曲线。横坐标X轴为 1 – 特异性，也称为假阳性率（误报率），X轴越接近...
ROC，AUC最透彻的讲解（实例分析+matlab代码）
视觉小新的博客
03-18 1万+
女朋友的毕业论文，做到了图像分割性能的评价，看到了需要用到AUC和ROC，请教大佬们，博后周师兄给出了他的解释和程序实现，非常感谢，后来查看了几个大V写的博客，感觉非常好，自己学习整理了一下，在这里总结给大家。 A大牛说，面试的时i候，一句话说明AUC的本质和计算规则： AUC：一个正例，一个负例，预测为正的概率值比预测为负的概率值还要大的可能性。 所以根据定义：我们最直观的有两种计算 A...
使用Maltlab中的plotroc()函数绘制ROC曲线
StefanSalvatore的博客
10-30 3994
原文自http://blog.csdn.net/fuhpi/article/details/8813455 　　ROC曲线是通用的分类器评价工具，matlab函数中自带了绘制该曲线的函数plotroc。  　　plotroc函数的原型为：plotroc(targets, outputs)  其中参数targets是一个矩阵，代表测试集，每一列表示一个测试样本的标签  如果有两类样本，比
【ML】【scikit-learn】随机森林、混淆矩阵、AUC - ROC曲线
请给我一脚
03-20 1006
个人笔记
python实现Accuracy类 F1度量类 P-R曲线类 ROC曲线类 AUC类 ，不用sklearn
07-15
下面是一个使用Python实现Accuracy类、F1度量类、P-R曲线类、ROC曲线类和AUC类的示例代码： ```python import matplotlib.pyplot as plt class Accuracy: def __init__(self, y_true, y_pred): self.y_true = y_true self.y_pred = y_pred def accuracy_score(self): correct = sum([1 for yt, yp in zip(self.y_true, self.y_pred) if yt == yp]) total = len(self.y_true) accuracy = correct / total return accuracy class F1Score: def __init__(self, y_true, y_pred): self.y_true = y_true self.y_pred = y_pred def precision_recall_f1(self): true_positives = sum([1 for yt, yp in zip(self.y_true, self.y_pred) if yt == 1 and yp == 1]) false_positives = sum([1 for yt, yp in zip(self.y_true, self.y_pred) if yt == 0 and yp == 1]) false_negatives = sum([1 for yt, yp in zip(self.y_true, self.y_pred) if yt == 1 and yp == 0]) precision = true_positives / (true_positives + false_positives) if (true_positives + false_positives) > 0 else 0 recall = true_positives / (true_positives + false_negatives) if (true_positives + false_negatives) > 0 else 0 f1_score = 2 * (precision * recall) / (precision + recall) if (precision + recall) > 0 else 0 return precision, recall, f1_score class PRCurve: def __init__(self, y_true, y_scores): self.y_true = y_true self.y_scores = y_scores def precision_recall_curve(self): thresholds = sorted(set(self.y_scores), reverse=True) precisions = [] recalls = [] for threshold in thresholds: y_pred = [1 if score >= threshold else 0 for score in self.y_scores] true_positives = sum([1 for yt, yp in zip(self.y_true, y_pred) if yt == 1 and yp == 1]) false_positives = sum([1 for yt, yp in zip(self.y_true, y_pred) if yt == 0 and yp == 1]) false_negatives = sum([1 for yt, yp in zip(self.y_true, y_pred) if yt == 1 and yp == 0]) precision = true_positives / (true_positives + false_positives) if (true_positives + false_positives) > 0 else 0 recall = true_positives / (true_positives + false_negatives) if (true_positives + false_negatives) > 0 else 0 precisions.append(precision) recalls.append(recall) return precisions, recalls class ROCCurve: def __init__(self, y_true, y_scores): self.y_true = y_true self.y_scores = y_scores def roc_curve(self): thresholds = sorted(set(self.y_scores), reverse=True) tpr_values = [] fpr_values = [] num_positive_cases = sum([1 for yt in self.y_true if yt == 1]) num_negative_cases = sum([1 for yt in self.y_true if yt == 0]) for threshold in thresholds: y_pred = [1 if score >= threshold else 0 for score in self.y_scores] true_positives = sum([1 for yt, yp in zip(self.y_true, y_pred) if yt == 1 and yp == 1]) false_positives = sum([1 for yt, yp in zip(self.y_true, y_pred) if yt == 0 and yp == 1]) tpr = true_positives / num_positive_cases if num_positive_cases > 0 else 0 fpr = false_positives / num_negative_cases if num_negative_cases > 0 else 0 tpr_values.append(tpr) fpr_values.append(fpr) return tpr_values, fpr_values class AUC: def __init__(self, tpr, fpr): self.tpr = tpr self.fpr = fpr def auc_score(self): auc = 0 for i in range(1, len(self.fpr)): auc += (self.fpr[i] - self.fpr[i-1]) * (self.tpr[i] + self.tpr[i-1]) / 2 return auc # 示例数据 y_true = [1, 0, 1, 1, 0, 0, 1] y_scores = [0.9, 0.6, 0.8, 0.7, 0.4, 0.3, 0.5] # 计算并输出准确率 accuracy = Accuracy(y_true, y_scores) acc = accuracy.accuracy_score() print("Accuracy:", acc) # 计算并输出精确率、召回率和F1度量 f1_score = F1Score(y_true, y_scores) precision, recall, f1 = f1_score.precision_recall_f1() print("Precision:", precision) print("Recall:", recall) print("F1 Score:", f1) # 计算并绘制P-R曲线 pr_curve = PRCurve(y_true, y_scores) precisions, recalls = pr_curve.precision_recall_curve() plt.plot(recalls, precisions) plt.xlabel('Recall') plt.ylabel('Precision') plt.title('P-R Curve') plt.show() # 计算并绘制ROC曲线 roc_curve = ROCCurve(y_true, y_scores) tpr_values, fpr_values = roc_curve.roc_curve() plt.plot(fpr_values, tpr_values) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('ROC Curve') plt.show() # 计算并输出AUC auc = AUC(tpr_values, fpr_values) auc_score = auc.auc_score() print("AUC Score:", auc_score) ``` 这段代码展示了如何实现Accuracy类、F1度量类、P-R曲线类、ROC曲线类和AUC类。你可以根据你的实际需求进行修改和优化。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值