分类模型的评价指标--混淆矩阵，ROC曲线，AUC及sklearn.metrics.roc_curve参数说明

已于 2022-06-15 11:19:39 修改
阅读量5.5k 收藏 23
点赞数 2
分类专栏： 机器学习 混淆矩阵 文章标签： 分类 机器学习 python
于 2022-06-09 09:01:55 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/MR_Trustin/article/details/125196362
版权

分类模型的评价指标–混淆矩阵，ROC，AUC

1. 混淆矩阵 – 就是分别统计分类模型归错类，归对类的观测值个数，然后把结果放在一个表里展示出来。这个表就是混淆矩阵

假设训练之初以及预测后，一个样本是正例还是反例是已经确定的，这个时候，样本应该有两个类别值，一个是真实的0/1，一个是预测的0/1

true positives (TP): 实际为正预测为正。

true negatives (TN): 实际为负预测为负。

false positives (FP): 实际为负但预测为正。(也称为“第一类错误”。)

false negatives (FN): 实际为正但预测为负。(也称为“第二类错误”。)
在这里插入图片描述

通过混淆矩阵我们可以给出各指标的值：

查全率（召回率#灵敏度#真阳性率，recall#Sensitivity#TPR）：
样本中的正例有多少被预测准确了
查全率＝预测对的正例数 / 真正的正例数 = TP / (TP+FN)
++++++++++++++++++++++++++++++++++++++++++++++++
查准率（精确率，Precision）：
针对预测结果而言，预测为正的样本有多少是真正的正样本
查准率＝预测对的正例数 / 所有预测为正例的数 = TP / (TP+FP)
++++++++++++++++++++++++++++++++++++++++++++++++
特异度（特异度#真阴性率，Specificity#TNR）：
样本中的负例有多少被预测准确了
Specificity/TNR ＝ 预测对的负例数/真正的负例数 = TN / (TN+FP)
++++++++++++++++++++++++++++++++++++++++++++++++
准确率（Accuracy）：针对整个模型
分类器统对整个样本的判定能力，能将正的判定为正，负的判定为负的能力，
Accuracy=(TP+TN) / (TP+FP+TN+FN)
++++++++++++++++++++++++++++++++++++++++++++++++
误分类率（误分类率#错误率，Misclassification Rate#Error Rate）:总的来说，错分类的频率是多少?
Misclassification Rate=(FP+FN)/(TP+FP+TN+FN) = 1- 准确率
++++++++++++++++++++++++++++++++++++++++++++++++
假阳性率（False Positive Rate）:当它实际上是“负的样本”的时候，它预测为“正的样本”的频率是多少?
FRP = FP/(FP+TF) = 1 - 真阴性率
++++++++++++++++++++++++++++++++++++++++++++++++
F1-Score：综合了Precision(查准率)与Recall(查全率)的产出的结果。F1-Score的取值范围从0到1的，1代表模型的输出最好，0代表模型的输出结果最差。
F1-Score = 2 * Precision * Recall / （Precision+Recall）

# sklearn相关代码
import numpy as np
from scipy import interp
import matplotlib.pyplot as plt
from sklearn import svm, datasets
from sklearn.metrics import roc_curve, auc
from sklearn.model_selection import StratifiedKFold
import sklearn.metrics as sm
iris = datasets.load_iris()
X = iris.data
y = iris.target
X, y = X[y != 2], y[y != 2]
n_samples, n_features = X.shape
# Add noisy features
random_state = np.random.RandomState(0)
X = np.c_[X, random_state.randn(n_samples, 200 * n_features)]
# #############################################################################
# Classification and ROC analysis
# Run classifier with cross-validation and plot ROC curves
classifier = svm.SVC(kernel='linear', probability=True,
                     random_state=random_state)
# 使用混淆矩阵评估分类模型的分类效果
for train, test in cv.split(X, y):
    probas_ = classifier.fit(X[train], y[train]).predict_proba(X[test])
    pre = classifier.fit(X[train], y[train]).predict(X[test])
    m=sm.confusion_matrix(y[test], pre)
# metrics提供了分类报告相关API，不仅可以得到混淆矩阵，还可以得到交叉验证查准率、召回率、f1得分的结果。
    cr = sm.classification_report(y[test], pre)
    print(cr)
    print('###################')

在这里插入图片描述

2、ROC简介

ROC的全名叫做Receiver Operating Characteristic，中文名字叫“受试者工作特征曲线”，其主要分析工具是一个画在二维平面上的曲线——ROC 曲线。平面的横坐标是false positive rate(FPR)，纵坐标是true positive rate(TPR)。对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对。这样，此分类器就可以映射成ROC平面上的一个点。调整这个分类器分类时候使用的阈值，我们就可以得到一个经过(0, 0)，(1, 1)的曲线，这就是此分类器的ROC曲线。

一般情况下，这个曲线都应该处于(0, 0)和(1, 1)连线的上方。因为(0, 0)和(1, 1)连线形成的ROC曲线实际上代表的是一个随机分类器。如果很不幸，你得到一个位于此直线下方的分类器的话，一个直观的补救办法就是把所有的预测结果反向，即：分类器输出结果为正类，则最终分类的结果为负类，反之，则为正类。虽然，用ROC 曲线来表示分类器的性能很直观好用。可是，人们总是希望能有一个数值来标志分类器的好坏。于是Area Under roc Curve(AUC)就出现了。顾名思义，AUC的值就是处于ROC 曲线下方的那部分面积的大小。通常，AUC的值介于0.5到1.0之间，较大的AUC代表了较好的性能。AUC（Area Under roc Curve）是一种用来度量分类模型好坏的一个标准。

为什么要选择ROC？

既然已经这么多评价标准，为什么还要使用ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。
在面对正负样本数量不均衡的场景下，ROC曲线（AUC的值）会是一个更加稳定能反映模型好坏的指标。

AUC作为评价标准
  1. AUC (Area Under Curve)

被定义为ROC曲线下的面积，取值范围一般在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

2.AUC 的计算方法

非参数法：（两种方法实际证明是一致的）

(1)梯形法则：早期由于测试样本有限，我们得到的AUC曲线呈阶梯状。曲线上的每个点向X轴做垂线，得到若干梯形，这些梯形面积之和也就是AUC 。

(2)Mann-Whitney统计量： 统计正负样本对中，有多少个组中的正样本的概率大于负样本的概率。这种估计随着样本规模的扩大而逐渐逼近真实值。

参数法：

(3)主要适用于二项分布的数据，即正反样本分布符合正态分布，可以通过均值和方差来计算。

3.从AUC判断分类器（预测模型）优劣的标准

· AUC = 1，是完美分类器，采用这个预测模型时，存在至少一个阈值能得出完美预测。绝大多数预测的场合，不存在完美分类器。

· 0.5 < AUC < 1，优于随机猜测。这个分类器（模型）妥善设定阈值的话，能有预测价值。

· AUC = 0.5，跟随机猜测一样（例：丢铜板），模型没有预测价值。

· AUC < 0.5，比随机猜测还差；但只要总是反预测而行，就优于随机猜测。

  1. 不同模型AUC的比较
    总的来说，AUC值越大，模型的分类效果越好，疾病检测越准确；不过两个模型AUC值相等并不代表模型效果相同，例子如下：
    在这里插入图片描述
    A,B两条ROC曲线相交于一点，AUC值几乎一样：当需要高Sensitivity时，模型A比B好；当需要高Speciticity时，模型B比A好。
roc_curve 函数

sklearn.metrics.roc_curve(y_true, y_score, pos_label=None, sample_weight=None, drop_intermediate=True)

Parameters :

y_true : 数组，shape = [样本数]

在范围{0,1}或{-1,1}中真正的二进制标签。如果标签不是二进制的，则应该显式地给出pos_label

y_score : 数组, shape = [样本数]

目标得分，可以是积极类的概率估计，信心值，或者是决定的非阈值度量(在某些分类器上由“decision_function”返回)。

pos_label：int or str, 标签被认为是积极的，其他的被认为是消极的。例：pos_label=2 是指在y中标签为2的是标准阳性标签，其余值是阴性

sample_weight: 顾名思义，样本的权重，可选择的

drop_intermediate: boolean, optional (default=True)

是否放弃一些不出现在绘制的ROC曲线上的次优阈值。这有助于创建更轻的ROC曲线

Returns :

fpr : array, shape = [>2] 增加假阳性率，例如，i是预测的假阳性率，得分>=临界值[i]

tpr : array, shape = [>2] 增加真阳性率，例如，i是预测的真阳性率，得分>=临界值[i]。

thresholds : array, shape = [n_thresholds] 阈值

减少了用于计算fpr和tpr的决策函数的阈值。阈值[0]表示没有被预测的实例，并且被任意设置为max(y_score) + 1

import numpy as np
from scipy import interp
import matplotlib.pyplot as plt
 
from sklearn import svm, datasets
from sklearn.metrics import roc_curve, auc
from sklearn.model_selection import StratifiedKFold
iris = datasets.load_iris()
X = iris.data
y = iris.target
X, y = X[y != 2], y[y != 2]
n_samples, n_features = X.shape
 
# Add noisy features
random_state = np.random.RandomState(0)
X = np.c_[X, random_state.randn(n_samples, 200 * n_features)]
 
# #############################################################################
# Classification and ROC analysis
 
# Run classifier with cross-validation and plot ROC curves
classifier = svm.SVC(kernel='linear', probability=True,
                     random_state=random_state)
 
i=0
for train, test in cv.split(X, y):
    pre = classifier.fit(X[train], y[train]).predict(X[test])
    # Compute ROC curve and area the curve
    fpr, tpr, thresholds = roc_curve(y[test], pre)
    roc_auc = auc(fpr, tpr)
#     print(i, roc_auc)
    i+=1
    plt.plot(fpr, tpr, lw=1, alpha=0.3,
             label='ROC fold %d (AUC = %0.2f)' % (i, roc_auc))
plt.xlim([-0.05, 1.05])
plt.ylim([-0.05, 1.05])
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('Receiver operating characteristic example')
plt.legend(loc="lower right")

在这里插入图片描述

耳东鹏
关注
  • 2
    点赞
  • 踩
  • 23
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
混淆矩阵、准确率、精确率、召回率、F值、ROC曲线、AUC、PR曲线-Sklearn.metrics评估方法 - 简书.mhtml
11-01
混淆矩阵、准确率、精确率、召回率、F值、ROC曲线、AUC、PR曲线-Sklearn.metrics评估方法 - 简书.mhtml
机器学习笔记（六）分类评价指标、混淆矩阵、精准率、召回率、P-R曲线、ROC曲线
qq_45723275的博客
03-30 2432
准确率(accuracy)的陷阱、混淆矩阵(Confusion Matrix)、分类评价指标、PR曲线、ROC曲线、TP、FP、TN、FN、TPR、FPR、精准率(precision)、召回率(recall)、AUC、F1 score
【机器学习-分类模型评价指标】混淆矩阵&分类报告
m0_51933492的博客
08-26 5606
混淆矩阵是评判模型结果的指标，属于模型评估的一部分。此外，混淆矩阵多用于判断分类器（Classifier）的优劣，适用于分类型的数据模型，如分类树（Classification Tree）、逻辑回归（Logistic Regression）、线性判别分析（Linear Discriminant Analysis）等方法。 混淆矩阵里面统计的是个数，有时候面对大量的数据,光凭算个数，很难衡量模型的优劣。因此混淆矩阵在基本的统计结果上又延伸了如下4个指标 在实际场景中，有时候需要同时关注精准率和召回率。这种情
【分类模型性能衡量指标 】混淆矩阵，精确率，准确率，召回率，Roc曲线
ji_meng的博客
07-20 827
文章目录前言混淆矩阵精确率 & 准确率 & 召回率Roc曲线 & Auc曲线 前言 在分类问题中，想要衡量性能指标 其实推荐系统中用的更多， 采用scikit-learn来实现，用到的是sklearn.metrics模块下的函数 官网链接 混淆矩阵 混淆矩阵（Confusion Matrix）是一个将分类问题按照真实情况与判别情况两个维度进行归类的矩阵。 以二分类问题为例，首先我们需要明确数据是positive还是negative。 对于实际值中可以用一个2×2的矩阵表示 真实值是
分类模型评价指标及其含义
baihua234的博客
08-29 1263
1.混淆矩阵 对于二分类问题，预测结果和真实结果两两结合会出现如下四种情况： TP、FP、FN、TN可以理解为 TP：预测为positive，实际为Ture，预测正确。 FP：预测为positive，实际为False，预测错误。 FN：预测为negative，实际为Ture，预测错误。 TN：预测为nagative，实际为False，预测正确。 2.准确率 准确率(Accuracy)预测正确的结果占总样本的百分比： 虽然准确率能够判断总的正确率，.
sklearn.metrics.roc_curve使用简要说明
热门推荐
sun91019718的博客
09-25 1万+
sklearn.metrics.roc_curve使用简要说明背景说明TP、TN、FP、FN概念TPR、TNR、FPR、FNR概念功能快捷键合理的创建标题，有助于目录的生成如何改变文本的样式插入链接与图片如何插入一段漂亮的代码片生成一个适合你的列表创建一个表格设定内容居中、居左、居右SmartyPants创建一个自定义列表如何创建一个注脚注释也是必不可少的KaTeX数学公式新的甘特图功能，丰富你的...
roc_curve（）的用法及用途
qq_42479987的博客
04-13 1万+
来源及说明 来源于 sklearn 库的 metrics.roc_curve 主要用来计算ROC曲线面积。 sklearn.metrics.roc_curve(y_true, y_score, *, pos_label=None, sample_weight=None, drop_intermediate=True) 输入参数： y_true : ndarray of shape (n_samples,) #真实的二进制标签。如果标签不是{-1，1}或{0，1}，那么pos_la
【机器学习】ROC曲线以及AUC面积的原理（理论+图解）
CSDN 精品推荐
07-08 7838
  简 介：下面是我在学习时候的记录并加上自己的理解。本文意在记录自己近期学习过程中的所学所得，如有错误，欢迎大家指正。   关键词：Python、机器学习 一、什么是ROC曲线   我们通常说的ROC曲线的中文全称叫做接收者操作特征曲线（receiver operating characteristic curve），也被称为感受性曲线。 该曲线有两个维度，横轴为fpr（假正率），纵轴为tpr（真正率） 准确率（accuracy）：（TP+TN）/ ALL..
curve函数 roc_sklearn.metrics.roc_curve使用说明
weixin_42298062的博客
02-23 4000
roc曲线是机器学习中十分重要的一种学习器评估准则，在sklearn中有完整的实现，api函数为sklearn.metrics.roc_curve(params)函数。不过这个接口只限于进行二分类任务。！下面主要是对官方接口做一下翻译。接口函数 sklearn.metrics.roc_curve(y_true,y_score,pos_label=None,sample_weight=No...
关于sklearn.metrics.roc_curve的踩坑指南(代码+详细分析)
shary_cao的博客
04-08 1万+
问题描述 在使用sklearn.metrics.roc_curve过程中可能会遇见以下两种问题： 1.混淆矩阵与ROC曲线严重不符 如你的混淆矩阵长这样（图左），而你的ROC曲线长这样（图右） 2.报错No positive samples in y_true UndefinedMetricWarning: No positive samples in y_true, true positive value should be meaningless warnings.warn("...
Tensorflow2.0对不平衡数据的分类（含混淆矩阵与ROC图）
12-22
’V6’两个维度上比较正负样本6、构建模型7、对比：有bias_initializer vs 没有bias_initializer没有bias_initializer构建模型用模型预测前十个样本将训练集输入模型来评价模型有bias_initializer计算bias_...
Keras 利用sklearn的ROC-AUC建立评价函数详解
12-17
from sklearn.metrics import roc_auc_score from keras.callbacks import Callback class RocAucEvaluation(Callback): def __init__(self, validation_data=(), interval=1): super(Callback, self).__init__() ...
keras用auc做metrics以及早停实例
12-17
from sklearn.metrics import roc_auc_score def auroc(y_true, y_pred): return tf.py_func(roc_auc_score, (y_true, y_pred), tf.double) # Build Model... model.compile(loss='categorical_crossentropy', ...
轮胎：基于Tiny sklearn的AutoML工具
02-11
sia虫 安装 pip install tiresia 描述 只是 GridSearchCV的包装。 这个想法是简化模型测试工作流程。 使用Tiresia，您可以选择要测试... metrics import roc_auc_score , r2_score test_type = "classifier" if test_t
【iOS】分类，扩展与关联对象
weixin_72437555的博客
04-23 686
上一篇章我们探究了类与对象的底层，这一篇我们探究一下分类，扩展与关联对象由于分类没有成员变量列表，所以无法添加成员变量。与此同时他有属性列表，但只会声明属性，不会去实现set与get方法。如果要在分类中使用属性就需要使用关联对象分类在运行时被整合到类中，扩展在编译时被整合到类中，因此分类中方法不实现不会报警，扩展会扩展常用于声明私有属性与方法如果分类中的方法与类中方法重名，分类中的方法会替代类中的方法。
Fisher判别：理解数据分类的经典方法
m0_62110645的博客
04-23 924
在机器学习和统计分类的领域中，Fisher判别（也称为Fisher线性判别分析）是一种非常重要的方法，旨在从数据中提取重要特征，以实现对样本的分类。即Fisher判别分析（Fisher Discriminant Analysis, FDA）是一种经典的线性分类方法，用于特征提取和数据降维，特别是在模式识别和机器学习领域中。这种方法由统计学家和生物学家罗纳德·费舍尔在1936年提出，至今仍广泛应用于各种数据分析任务中。
朴素贝叶斯算法分类
最新发布
weixin_60896526的博客
04-24 341
但是此时如果我们直接输出的话会出现下溢出问题，是由于太多个小数相乘造成的，在python的精度下，太多小数相乘会四舍五入为0，会影响得到正确的答案。一种解决方法是对乘积取自然对数，所以我们可以修改以下代码。但是我们输出结果后会发现基于极大似然估计得朴素贝叶斯算法的结果差强人意，如果其中一个类别的概率值为0，那么最后的乘积也为0，我们可以贝叶斯估计优化算法，在条件概率计算的公式的分子分母上分别加上。也就是将条件概率和先验概率的分子初始化为1，分母初始化为2.代表分类的个数，此样例中为2，即侮辱与非侮辱类。
需求优先级怎么排？需求分类怎么分？KANO模型实操讲解
04-23 1035
落入这一象限的属性，称之为是期望属性，即表示产品提供此功能，用户满意度会提升，当不提供此功能，用户满意度就会降低，这是质量的竞争性属性，应尽力去满足用户的期望型需求。落入这一象限的属性，称之为是必备属性，即表示当产品提供此功能，用户满意度不会提升，当不提供此功能，用户满意度会大幅降低；落入这一象限的属性，称之为是魅力属性，即表示不提供此功能，用户满意度不会降低，但当提供此功能，用户满意度和忠诚度会有很大提升；用户意想不到的，如果不提供此需求，用户满意度不会降低，但当提供此需求，用户满意度会有很大提升；
机器学习（四）之无监督学习
weixin_75205835的博客
04-23 1095
当这个类有一定形状（图的最上两行），即非平面流体，并且标准的欧式距离不是正确的度量标准时，聚类是非常有用的。
sklearn.metrics.roc_auc_score
03-16
`sklearn.metrics.roc_auc_score` 是 Scikit-learn 中用于计算二分类模型 ROC 曲线下面积（AUC）的函数。 在使用该函数时，你需要提供真实标签 `y_true` 和预测标签 `y_pred`。其中，`y_true` 是一个长度为 `n_...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值