关于混淆矩阵、ROC、AUC的问题

最新推荐文章于 2023-12-27 11:16:04 发布
最新推荐文章于 2023-12-27 11:16:04 发布
阅读量1w 收藏 54
点赞数 9
分类专栏： 自学 文章标签： 机器学习 ROC、AUC、混淆矩阵 评价指标
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u012735708/article/details/82877501
版权

相信关于混淆矩阵、ROC和AUC的问题一直困扰着大家，要想搞懂ROC和AUC，首先要明白混淆矩阵是什么。

混淆矩阵

混淆矩阵中有着Positive、Negative、True、False的概念，其意义如下：

  • 称预测类别为1的为Positive（阳性），预测类别为0的为Negative（阴性）。
  • 预测正确的为True（真），预测错误的为False（伪）。

对上述概念进行组合，就产生了如下的混淆矩阵：

由此引出True Positive Rate（真阳率）、False Positive（伪阳率）两个概念：

仔细看这两个公式，发现其实TPR就是TP除以TP所在的列，FPR就是FP除以FP所在的列，二者意义如下：

  • TPR的意义是所有真实类别为1的样本中，预测类别为1的比例。
  • FPR的意义是所有真是类别为0的样本中，预测类别为1的比例。

如果上述概念都弄懂了，那么ROC曲线和AUC就比较容易理解了：

AUC是一个模型评价指标，只能用于二分类模型的评价，对于二分类模型，还有很多其他评价指标，比如accuracy，precision。

为什么AUC比accuracy更常用呢？因为很多机器学习的模型对分类问题的预测结果都是概率，如果要计算accuracy，需要先把概率转化成类别，这就需要手动设置一个阈值，如果对一个样本的预测概率高于这个预测，就把这个样本放进一个类别里面，低于这个阈值，放进另一个类别里面。所以这个阈值很大程度上影响了accuracy的计算。

AUC的本质含义反映的是对于任意一对正负例样本,模型将正样本预测为正例的可能性 大于 将负例预测为正例的可能性的 概率，是Area under curve的首字母缩写。Area under curve是什么呢，从字面理解，就是一条曲线下面区域的面积。所以我们要先来弄清楚这条曲线是什么。这个曲线有个名字，叫ROC曲线。ROC曲线是基于样本的真实类别和预测概率来画的，具体来说，ROC曲线的x轴是伪阳率（false positive rate），y轴是真阳率（true positive rate)。即ROC曲线的横轴是FPRate，纵轴是TPRate，当二者相等时，即y=x，如下图，表示的意义是：

对于不论真实类别是1还是0的样本，分类器预测为1的概率是相等的。

而我们希望分类器达到的效果是：对于真实类别为1的样本，分类器预测为1的概率（即TPRate），要大于真实类别为0而预测类别为1的概率（即FPRate）。这样的ROC曲线是在y=x之上的，因此大部分的ROC曲线长成下面这个样子：

那么，最理想的情况下没有真实类别为1而错分为0的样本，TPRate一直为1，于是AUC为1，这便是AUC的极大值。

说了这么多还是不够直观，不妨举个简单的例子。

首先对于硬分类器（例如SVM，NB），预测类别为离散标签，对于8个样本的预测情况如下：

得到混淆矩阵如下：

此时，TP=3，FP=2，TN=1，FN=2，由TPRate=TP/(TP+FN)，FPRate=FP/(FP+TN)

进而算得TPRate=3/4，FPRate=2/4，得到ROC曲线：

最终得到AUC为0.625。

对于LR等预测类别为概率的分类器，依然用上述例子，假设预测结果如下：

这时，需要设置阈值来得到混淆矩阵，不同的阈值会影响得到的TPRate，FPRate，如果阈值取0.5，小于0.5的为0，否则为1，那么我们就得到了与之前一样的混淆矩阵。其他的阈值就不再啰嗦了。依次使用所有预测值作为阈值，得到一系列TPRate，FPRate，描点，求面积，即可得到AUC。

AUC的优势，AUC的计算方法同时考虑了分类器对于正例和负例的分类能力，在样本不平衡的情况下，依然能够对分类器作出合理的评价。

例如在反欺诈场景，设非欺诈类样本为正例，负例占比很少（假设0.1%），如果使用准确率评估，把所有的样本预测为正例便可以获得99.9%的准确率。

但是如果使用AUC，把所有样本预测为正例，TPRate和FPRate同时为1，AUC仅为0.5，成功规避了样本不均匀带来的问题。

使用python计算AUC的代码：

from sklearn import metrics
def AUC():
    fpr,tpr,thresholds=metrics.roc_curve(act,pred,pos_label=1)
    return metrics.auc(fpr,tpr)

 说了半天，大家可能还是不太清楚，下面咱们通过一个python写的例子加深下理解。

假设我们通过训练集训练了一个二分类模型，在测试集上进行预测每个样本所属的类别，输出了属于类别”1“的概率。现在假设当P>=0.5时（threshold=0.5），预测的类标签为”1“。

（1）导入相关库

import pandas as pd
import matplotlib.pyplot as plt
import numpy as np
#生成测试样本的数量
parameter=50

（2）随机生成结果集 

data=pd.DataFrame(index=range(0,parameter),columns=('probability','The true label'))
data['The true label']=np.random.randint(0,2,size=len(data))
data['probability']=np.random.choice(np.arange(0.1,1,0.1),len(data['probability']))

生成数据为：

 （3）计算混淆矩阵

cm=np.arange(4).reshape(2,2)
cm[0,0]=len(data[(data['The true label']==0)&(data['probability']<0.5)]) #TN
cm[0,1]=len(data[(data['The true label']==0)&(data['probability']>=0.5)])#FP
cm[1,0]=len(data[(data['The true label']==1)&(data['probability']<0.5)]) #FN
cm[1,1]=len(data[(data['The true label']==1)&(data['probability']>=0.5)])#TP

（4）计算假正率和真正率

首先，画出混淆矩阵。

import itertools
classes = [0,1]
plt.figure()
plt.imshow(cm, interpolation='nearest', cmap=plt.cm.Blues)
plt.title('Confusion matrix')
tick_marks = np.arange(len(classes))
plt.xticks(tick_marks, classes, rotation=0)
plt.yticks(tick_marks, classes)
thresh = cm.max() / 2.
for i, j in  itertools.product(range(cm.shape[0]), range(cm.shape[1])):    
    plt.text(j, i, cm[i, j],horizontalalignment="center", color="red" if cm[i, j] > thresh else "black")
    plt.tight_layout()
    plt.ylabel('True label')
    plt.xlabel('Predicted label')
plt.show()

生成的混淆矩阵如下所示：

 然后，threshold=0.5上的假正率和真正率容易计算，为： FPR=7/(7+6)=0.54，TPR=4/(4+3)=0.57

ROC曲线和AUC值

ROC曲线是一系列threshold下的（FPR，TPR）数值点的连线。此时的threshold的取值分别为测试数据集中各样本的预测概率。但，取各个概率的顺序是从大到小的。

（1）按概率值排序

首先，按预测概率从大到小的顺序排序：

data.sort_values('probability',inplace=True,ascending=False)

排序结果如下：

此时，threshold依次取0.9，0.9，0.8，0.8，0.8，0.8，0.6，0.6...。 比如，当threshold=0.9（第2个0.9），两个”1“预测正确，FPR=1/11=0，TPR=2/7=0.286。 当threshold=0.8（第3个0.8），三个”0“预测错误，两个”1“预测正确，FPR=3/11=0.231，TPR=2/7=0.286。 

（2）计算全部概率值下的FPR和TPR

TPRandFPR=pd.DataFrame(index=range(len(data)),columns=('TP','FP'))
for j in range(len(data)):    
    data1=data.head(n=j+1)    
    FP=len(data1[data1['The true label']==0])/float(len(data[data['The true label']==0]))    
    TP=len(data1[data1['The true label']==1])/float(len(data[data['The true label']==1]))     
    TPRandFPR.iloc[j]=[TP,FP]

最后，(FPR,TPR)点矩阵如下：

（3）画出最终的ROC曲线和计算AUC值

from sklearn.metrics import auc
AUC= auc(TPRandFPR['FP'],TPRandFPR['TP'])
plt.scatter(x=TPRandFPR['FP'],y=TPRandFPR['TP'],label='(FPR,TPR)',color='k')
plt.plot(TPRandFPR['FP'], TPRandFPR['TP'], 'k',label='AUC = %0.2f'% AUC)
plt.legend(loc='lower right')
plt.title('Receiver Operating Characteristic')
plt.plot([(0,0),(1,1)],'r--')
plt.xlim([-0.01,1.01])
plt.ylim([-0.01,01.01])
plt.ylabel('True Positive Rate')
plt.xlabel('False Positive Rate')
plt.show()

下图的黑色线即为ROC曲线，测试样本中的数据点越多，曲线越平滑：

AUC(Area Under roc Cure)，顾名思义，其就是ROC曲线小的面积，在此例子中AUC=0.52。AUC越大，说明分类效果越好。

当我们增加测试样本的数量时（parameter=10000），得到的ROC和AUC如下图所示：

由图可以看出此时ROC和y=x基本重合，AUC=0.5，这是因为我们随机生成的测试数据，基本上和猜没啥区别了，判断对和错的概率各占一半。

补充：

当然，针对上面混淆矩阵我们可以换一种更形象的图例进行记忆，如下图所示：

PS.P和R指标（即精确率和召回率）有时候会出现的矛盾的情况，这样就需要综合考虑他们，最常见的方法就是F-Measure（又称为F-Score）。 
F-Measure是Precision和Recall加权调和平均，我们常用的是F1指标，即α=1的情况。

本文旨在初步理解混淆矩阵、ROC和AUC，并通过python例子加深对概念的认识，希望对小伙伴们有帮助。

参考文献:

https://www.jianshu.com/p/c61ae11cc5f6

https://www.zhihu.com/question/39840928?from=profile_question_card

 李航. 统计学习方法[M]. 清华大学出版社, 2012.

浅笑古今
关注
  • 9
    点赞
  • 踩
  • 54
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
AUC曲线和混淆矩阵的绘制 基于matlab gui
07-11
AUC曲线和混淆矩阵的绘制 基于matlab gui
分类模型的评价指标--混淆矩阵，ROC，AUC，KS，Lift，Gain
热门推荐
shy19890510的博客
03-09 4万+
对于分类模型，常用的指标有混淆矩阵、ROC曲线，AUC值，KS曲线以及KS值、Lift图，Gain图等，查阅了很多的资料，加入自己的理解整理了一下他们的计算方法和意义，希望对大家有帮助。1. 混淆矩阵---确定截断点后，评价学习器性能假设训练之初以及预测后，一个样本是正例还是反例是已经确定的，这个时候，样本应该有两个类别值，一个是真实的0/1，一个是预测的0/1 ...
机器学习基础概念：查准率、查全率、ROC、混淆矩阵、F1-Score 机器学习实战：分类器
12-21
机器学习：基础概念查准率、查全率F1-Score、ROC、混淆矩阵机器学习实战：分类器性能考核方法：使用交叉验证测量精度性能考核方法：混淆矩阵精度和召回率ROC曲线训练一个随机森林分类器，并计算ROC和ROC AUC分数 查准率、查全率 对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例TP、假正例FP、真反例TN、假反例FN四种，令TP、FP、TN、FN分别表示其对应的样例数，则显然有TP+FP+TN+FN=样例总数，分类结果的“混淆矩阵”为： 查准率P： p=TPTP+FP p=\frac{TP}{TP+FP} p=TP+FPTP​ 查全率R： R=TPTP+FN
混淆矩阵、ROC、AUC
09-29
利用Python随机生成测试数据，计算混淆矩阵，绘制ROC和AUC
Tensorflow2.0对不平衡数据的分类（含混淆矩阵与ROC图）
12-22
文章目录数据集介绍代码实现1、导入需要的库2、导入数据集查看数据集中正样本（欺诈）和负样本（未欺诈）的数量对数据集进行稍微处理3、划分数据集划分训练集、验证集和测试集划分出特征和标签4、标准化处理5、查看正负样本的相关信息区分正负样本在’V5’，’V6’两个维度上比较正负样本6、构建模型7、对比：有bias_initializer vs 没有bias_initializer没有bias_initializer构建模型用模型预测前十个样本将训练集输入模型来评价模型有bias_initializer计算bias_initializer构建模型用模型预测前十个样本将训练集输入模型来评价模型8、保存初
混淆矩阵、ROC与auc
CSDN_for_learn的博客
09-28 198
模型A示例： 1. 正例：在模型 A 的场景中，猫是正例。 2. 负例：在模型 A 的场景中，其他是负例。 3. TP（真阳性）：真实的类别是猫，同时模型也预测为猫，有 60 张。 4. FP（假阳性）：真实的类别是其他，但模型预测为猫，有 20 张。 5. TN（真阴性）：真实的类别是其他，同时模型也预测为其他，有 10 张。 6. FN（假阴性）：真实的类别是猫，但模型预测为其他，有 10 张。 1. 正确率： 被正确分类的样本比例，衡量预测值与真值相符合的程度 Accuracy .
混淆矩阵、ROC、AUC 学习记录
weixin_44912030的博客
10-13 903
ROC曲线的横坐标为 假阳率(False positive rate)，纵坐标为真阳率(True positive rate)，基于对混淆矩阵的理解，我们几乎总是希望模型测试结果的真阳率尽可能高的同时，假阳率尽可能的低，把这种混淆矩阵映射到上面的二维空间时，它的坐标一定是更靠近左上的，而ROC曲线的实质就是多个不同阈值下的矩阵在二维空间中的连线，所以我们可以得到ROC曲线越靠近左上角，模型表现越优秀的结论。准确度(accuray)=(TP+TN) / (TP+FP+FN+TP)；
模型评价(一) AUC大法
weixin_34148340的博客
07-29 1989
问题： AUC是什么 AUC能拿来干什么 AUC如何求解（深入理解AUC） AUC是什么 混淆矩阵(Confusion matrix) 混淆矩阵是理解大多数评价指标的基础，毫无疑问也是理解AUC的基础。丰富的资料介绍着混淆矩阵的概念，这里用一个经典图来解释混淆矩阵是什么。显然，混淆矩阵包含四部分的信息： True negative(...
混淆矩阵、auc、roc
fuge92的博客
06-26 1142
混淆矩阵就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵。 针对一个二分类问题 真实值是positive，模型认为是positive的数量（True Positive=TP） 真实值是positive，模型认为是negative的数量（False Negative=FN）：这就是统计学上的第一类错误（Type I Error） 真实值是n...
混淆矩阵，P-R曲线和ROC&AUC
Rover的博客
10-22 1038
这是一篇总结文 混淆矩阵 混淆矩阵左侧是真实信息，上放是样本预测的信息。所以一个二分类的混淆矩阵为。 我们常说的Precision(精确率)，Recall(召回率)，Accuray(准确率)。就可以从上述计算得来。 P=Precision=TPTP+FP(1) \tag{1}P=Precision=\frac{TP}{TP+FP} P=Precision=TP+FPTP​(1) R=Recall=TPTP+FN(2) \tag{2}R=Recall=\frac{TP}{TP+FN} R=Recall=.
算法模型评估之混淆矩阵，accuracy，查准率，查全率，AUC（ROC）等小总结
Miracle8070
12-13 7792
学习机器模型，少不了借助一些策略来评估模型的好坏，而准确率、精确率（查准率）、召回率（查全率）、F1值、ROC曲线的AUC值，都可以作为评价一个机器学习模型好坏的指标（evaluation metrics），而这些评价指标直接或间接都与混淆矩阵有关，前四者可以从混淆矩阵中直接计算得到，AUC值则要通过ROC曲线进行计算，而ROC曲线的横纵坐标又和混淆矩阵联系密切，所以在了解这些评价指标之前，先知道...
python 实用性 混淆矩阵、f1_score、AUC 相关知识复习提示
qq_37742059的博客
02-23 1042
class ConfusionMatrix: # 对于二分类问题适用 # y_label 原始标签 y_pre 模型预测值 # th 分类阈值 def __init__(self, y_label, y_pre): self.label = y_label.copy() self.pre = y_pre.copy() ...
混淆矩阵中的横纵坐标中文出现乱码
最新发布
PLANTTHESON的博客
12-27 400
混淆矩阵中的横纵坐标中文出现乱码
混淆矩阵和语义分割评价指标:Acc CAcc MAcc loU MIoU FWMIoU
我的博客
06-16 819
混淆矩阵和语义分割评价指标:Acc CAcc MAcc loU MIoU FWMIoU
混淆矩阵、ROC曲线以及AUC计算原理
qq_41588611的博客
09-23 299
分类模型中各个评价指标之间的联系与区别
Python随机生成体温并写入Excel
qq_45613277的博客
06-01 8131
Python随机生成体温并写入Excel 疫情期间在校需要时常测量体温，早晚各一次，并且要填入Excel表格中汇总，十分麻烦，所以写了一个Python程序生成随机数作为温度填入Excel中。 # coding=UTF-8 import random import xlrd import xlwt from xlutils.copy import copy # 前几列需要一些基本信息 用此函数生成 def create_value(): date=1 # 生成一天的数据 all_value
从混淆矩阵中计算每一类的分类精度和总体平均精度
liguandong
03-06 1万+
计算每一类的分类精度，进而求总体的平均精度是分类问题很常用的评价指标，当我们计算出混淆矩阵之后，需要对混淆矩阵进行量化分析，最明显的指标就是计算分类精度，下面提供一种计算方面，使用sk-learn的apinp.diag是将对角线的值取出来，也就是正确分类的样本数的分布，axis=1，是行维度，实际就是预测样本数分布，np.sum就是将预测的每类样本数进行求和。nan_to_num是将部分真除之后会...
xgboost 的 Precesion Recall F1 AUC ACC 混淆矩阵 计算
Talk Is Cheap
05-29 8602
#省略…… from sklearn.model_selection import train_test_split train_x, test_x, train_y, test_y = train_test_split(feature_matrix, labels, random_state=0) import xgboost as xgb dtrain=xgb.DMatrix(train...
从混淆矩阵看各种度量
英悟的博客
08-24 6688
前言 机器学习中各种度量很容易搞晕学习者的头脑。但是如果把他们和混淆矩阵一起来看的话，会容易理解很多。 我也是经常接触，所以有一些自己的感悟，记录下来。 混淆矩阵（confusion matrix） 我理解上的混淆矩阵就是一个分类器对于正反例（假设是二分类，多分类也类似）的混淆程度。 我有见过两种不同混淆矩阵，主要区别是对于真实的类别和猜测的类别的位置互换。其实本质上没有大区别的，看
分类混淆矩阵中auc recall
09-06
分类混淆矩阵中，并不包含AUC和Recall这两个指标。混淆矩阵主要用于评估分类模型的性能，通过统计分类模型归错类和归对类的观测值个数，将结果展示在一个表中。混淆矩阵主要包括以下几个指标： 1. 真正例（True Positive, TP）：模型正确地将正例分类为正例的个数。 2. 假正例（False Positive, FP）：模型错误地将负例分类为正例的个数。 3. 假反例（False Negative, FN）：模型错误地将正例分类为负例的个数。 4. 真反例（True Negative, TN）：模型正确地将负例分类为负例的个数。 通过这些指标，我们可以计算出其他一些评估指标，比如准确率（Accuracy）、精确率（Precision）、召回率（Recall）等。但是AUC（Area Under the Curve）并不是混淆矩阵中的指标，它是用来评估二分类模型的性能的一个指标，表示ROC曲线下的面积。而Recall是指分类模型正确地识别出所有正例的能力，也被称为灵敏度或真正例率。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *3* [混淆矩阵、auc、roc](https://blog.csdn.net/fuge92/article/details/93745705)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *2* [混淆矩阵、ROC、AUC 学习记录](https://blog.csdn.net/weixin_44912030/article/details/127291953)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值