#ROC和AUC介绍以及如何计算AUC

最新推荐文章于 2022-06-13 15:45:45 发布
最新推荐文章于 2022-06-13 15:45:45 发布
阅读量574 收藏
点赞数

欢迎使用Markdown编辑器写博客

本Markdown编辑器使用StackEdit修改而来，用它写博客，将会带来全新的体验哦：

  • Markdown和扩展Markdown简洁的语法
  • 代码块高亮
  • 图片链接和图片上传
  • LaTex数学公式
  • UML序列图和流程图
  • 离线写博客
  • 导入导出Markdown文件
  • 丰富的快捷键

快捷键

  • 加粗 Ctrl + B
  • 斜体 Ctrl + I
  • 引用 Ctrl + Q
  • 插入链接 Ctrl + L
  • 插入代码 Ctrl + K
  • 插入图片 Ctrl + G
  • 提升标题 Ctrl + H
  • 有序列表 Ctrl + O
  • 无序列表 Ctrl + U
  • 横线 Ctrl + R
  • 撤销 Ctrl + Z
  • 重做 Ctrl + Y

Markdown及扩展

ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，对两者的简单介绍见这里。这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。

ROC曲线

需要提前说明的是，我们这里只讨论二值分类器。对于分类器，或者说分类算法，评价指标主要有precision，recall，F-score1，以及我们今天要讨论的ROC和AUC。下图是一个ROC曲线的示例[^2]。
这里写图片描述

正如我们在这个ROC曲线的示例图中看到的那样，ROC曲线的横坐标为false positive rate（FPR），纵坐标为true positive rate（TPR）。下图中详细说明了FPR和TPR是如何定义的。
这里写图片描述

接下来我们考虑ROC曲线图中的四个点和一条线。第一个点，(0,1)，即FPR=0, TPR=1，这意味着FN（false negative）=0，并且FP（false positive）=0。Wow，这是一个完美的分类器，它将所有的样本都正确分类。第二个点，(1,0)，即FPR=1，TPR=0，类似地分析可以发现这是一个最糟糕的分类器，因为它成功避开了所有的正确答案。第三个点，(0,0)，即FPR=TPR=0，即FP（false positive）=TP（true positive）=0，可以发现该分类器预测所有的样本都为负样本（negative）。类似的，第四个点（1,1），分类器实际上预测所有的样本都为正样本。经过以上的分析，我们可以断言，ROC曲线越接近左上角，该分类器的性能越好。

下面考虑ROC曲线图中的虚线y=x上的点。这条对角线上的点其实表示的是一个采用随机猜测策略的分类器的结果，例如(0.5,0.5)，表示该分类器随机对于一半的样本猜测其为正样本，另外一半的样本为负样本。

如何画ROC曲线

对于一个特定的分类器和测试数据集，显然只能得到一个分类结果，即一组FPR和TPR结果，而要得到一个曲线，我们实际上需要一系列FPR和TPR的值，这又是如何得到的呢？我们先来看一下Wikipedia上对ROC曲线的定义：

In signal detection theory, a receiver operating characteristic (ROC), or simply ROC curve, is a graphical plot which illustrates the performance of a binary classifier system as its discrimination threshold is varied.

问题在于“as its discrimination threashold is varied”。如何理解这里的“discrimination threashold”呢？我们忽略了分类器的一个重要功能“概率输出”，即表示分类器认为某个样本具有多大的概率属于正样本（或负样本）。通过更深入地了解各个分类器的内部机理，我们总能想办法得到一种概率输出。通常来说，是将一个实数范围通过某个变换映射到(0,1)区间[^3]。

假如我们已经得到了所有样本的概率输出（属于正样本的概率），现在的问题是如何改变“discrimination threashold”？我们根据每个测试样本属于正样本的概率值从大到小排序。下图是一个示例，图中共有20个测试样本，“Class”一栏表示每个测试样本真正的标签（p表示正样本，n表示负样本），“Score”表示每个测试样本属于正样本的概率[^4]。本编辑器支持 Markdown Extra , 　扩展了很多好用的功能。具体请参考Github.
这里写图片描述
接下来，我们从高到低，依次将“Score”值作为阈值threshold，当测试样本属于正样本的概率大于或等于这个threshold时，我们认为它为正样本，否则为负样本。举例来说，对于图中的第4个样本，其“Score”值为0.6，那么样本1，2，3，4都被认为是正样本，因为它们的“Score”值都大于等于0.6，而其他样本则都认为是负样本。每次选取一个不同的threshold，我们就可以得到一组FPR和TPR，即ROC曲线上的一点。这样一来，我们一共得到了20组FPR和TPR的值，将它们画在ROC曲线的结果如下图：
这里写图片描述

当我们将threshold设置为1和0时，分别可以得到ROC曲线上的(0,0)和(1,1)两个点。将这些(FPR,TPR)对连接起来，就得到了ROC曲线。当threshold取值越多，ROC曲线越平滑。

其实，我们并不一定要得到每个测试样本是正样本的概率值，只要得到这个分类器对该测试样本的“评分值”即可（评分值并不一定在(0,1)区间）。评分越高，表示分类器越肯定地认为这个测试样本是正样本，而且同时使用各个评分值作为threshold。我认为将评分值转化为概率更易于理解一些。

AUC值的计算

AUC（Area Under Curve）被定义为ROC曲线下的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。使用AUC值作为评价标准是因为很多时候ROC曲线并不能清晰的说明哪个分类器的效果更好，而作为一个数值，对应AUC更大的分类器效果更好。

在了解了ROC曲线的构造过程后，编写代码实现并不是一件困难的事情。相比自己编写代码，有时候阅读其他人的代码收获更多，当然过程也更痛苦些。在此推荐scikit-learn中关于计算AUC的代码。

为什么使用ROC曲线

既然已经这么多评价标准，为什么还要使用ROC和AUC呢？因为ROC曲线有个很好的特性：当测试集中的正负样本的分布变化的时候，ROC曲线能够保持不变。在实际的数据集中经常会出现类不平衡（class imbalance）现象，即负样本比正样本多很多（或者相反），而且测试数据中的正负样本的分布也可能随着时间变化。下图是ROC曲线和Precision-Recall曲线[^5]的对比：
这里写图片描述
在上图中，(a)和(c)为ROC曲线，(b)和(d)为Precision-Recall曲线。(a)和(b)展示的是分类其在原始测试集（正负样本分布平衡）的结果，(c)和(d)是将测试集中负样本的数量增加到原来的10倍后，分类器的结果。可以明显的看出，ROC曲线基本保持原貌，而Precision-Recall曲线则变化较大。

说明，文中除了第一张图来自Wikipedia外，其他的图都来自论文(Fawcett, 2006)[^6]截图.
引用及其他链接：
* 维基百科中对ROC的介绍: http://en.wikipedia.org/wiki/Receiver_operating_characteristic
* ROC曲线及AUC评价指标 by 冒泡的崔：http://bubblexc.com/y2011/148/

表格

Markdown　Extra　表格语法：

项目价格
Computer$1600
Phone$12
Pipe$1

可以使用冒号来定义对齐方式：

项目价格数量
Computer1600 元5
Phone12 元12
Pipe1 元234

定义列表

Markdown　Extra　定义列表语法： 项目１ 项目２
定义 A
定义 B
项目３
定义 C

定义 D

定义D内容

代码块

代码块语法遵循标准markdown代码，例如：

@requires_authorization
def somefunc(param1='', param2=0):
    '''A docstring'''
    if param1 > param2: # interesting
        print 'Greater'
    return (param2 - param1 + 1) or None
class SomeClass:
    pass
>>> message = '''interpreter
... prompt'''

脚注

生成一个脚注2.

目录

用 [TOC]来生成目录：

数学公式

使用MathJax渲染LaTex 数学公式，详见math.stackexchange.com.

  • 行内公式，数学公式为： Γ(n)=(n−1)!∀n∈N 。
  • 块级公式：

x=−b±b2−4ac−−−−−−−√2a

更多LaTex语法请参考 这儿.

UML 图:

可以渲染序列图：

Created with Raphaël 2.1.0 张三 张三 李四 李四 嘿，小四儿, 写博客了没? 李四愣了一下，说： 忙得吐血，哪有时间写。

或者流程图：

Created with Raphaël 2.1.0 开始 我的操作 确认？ 结束 yes no
  • 关于 序列图 语法，参考 这儿,
  • 关于 流程图 语法，参考 这儿.

离线写博客

即使用户在没有网络的情况下，也可以通过本编辑器离线写博客（直接在曾经使用过的浏览器中输入write.blog.csdn.net/mdeditor即可。Markdown编辑器使用浏览器离线存储将内容保存在本地。

用户写博客的过程中，内容实时保存在浏览器缓存中，在用户关闭浏览器或者其它异常情况下，内容不会丢失。用户再次打开浏览器时，会显示上次用户正在编辑的没有发表的内容。

博客发表后，本地缓存将被删除。　

用户可以选择 把正在写的博客保存到服务器草稿箱，即使换浏览器或者清除缓存，内容也不会丢失。

注意：虽然浏览器存储大部分时候都比较可靠，但为了您的数据安全，在联网后，请务必及时发表或者保存到服务器草稿箱。

浏览器兼容

  1. 目前，本编辑器对Chrome浏览器支持最为完整。建议大家使用较新版本的Chrome。
  2. IE９以下不支持
  3. IE９，１０，１１存在以下问题
    1. 不支持离线功能
    2. IE9不支持文件导入导出
    3. IE10不支持拖拽文件导入
  1. 我避免将precision，recall等评价指标翻译成中文，因为它们可能对应多个中文解释，极易产生混淆。
    [^2]: 图片来源：http://en.wikipedia.org/wiki/File:Roccurves.png
    [^3]: 这种映射不一定都是可靠的，即你不一定真的得到了某个样本是正样本的概率。
    [^4]: 注意这里使用了“Score”，而不是概率，我们暂且可以认为“Score”值就是是正样本的概率。
    [^5]: Davis, J., & Goadrich, M. (2006, June). The relationship between Precision-Recall and ROC curves. In Proceedings of the 23rd international conference on Machine learning (pp. 233-240). ACM.
    [^6]: Fawcett, T. (2006). An introduction to ROC analysis. Pattern recognition letters, 27(8), 861-874. ↩
  2. 这里是 脚注 的 内容. ↩
路线图
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
什么是 ROC AUC
aliceyangxi1987的博客
07-04 3068
本文结构： 什么是 ROC？ 怎么解读 ROC 曲线？ 如何画 ROC 曲线？ 代码？ 什么是 AUC？ 代码？ ROC 曲线和 AUC 常被用来评价一个二值分类器的优劣。先来看一下混淆矩阵中的各个元素，在后面会用到：1. ROC ：纵轴为 TPR 真正例率，预测为正且实际为正的样本占所有正例样本的比例。 横轴为 FPR 假正例率，预测为正但实际为负的样本占所有负例样本的比例。对角线对应的是 “随
ROC曲线与AUC计算
mytestmy的专栏
04-21 1万+
ROC曲线绘制与AUC计算           致谢 多位博主的无私分享。 参考文献 [1] http://blog.csdn.net/chjjunking/article/details/5933105 . chjjunking的博客 [2] http://blog.csdn.net/abcjennifer/article/details/735937
解决ROC曲线画出来只有一个点的问题
09-17
今天小编就为大家分享一篇解决ROC曲线画出来只有一个点的问题，具有很好的参考价值，希望对大家有所帮助。一起跟随小编过来看看吧
ROC和AUC介绍以及如何计算AUC
wsq520521的专栏
11-18 1730
ROC和AUC介绍以及如何计算AUC June 22, 2013 ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，对两者的简单介绍见这里。这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。 ROC曲线 需要提前说明的是，我们这里只讨论二
roc_curve()，ROC曲线，混淆矩阵，开集闭集等概念
彭伟的博客
08-02 9388
ROC 在分类任务中，经常基于错误率来衡量分类器任务的成功程度。错误率指的是在所有测试样例中错分的样例比例。实际上，这样的度量错误掩盖了样例如何被分错的事实。在机器学习中，有一个普遍适用的称为混淆矩阵(confusion matrix)的工具，它可以帮助人们更好地了解分类中的错误。 混淆矩阵 我们举个列子，并画出混淆矩阵表，假如宠物店有10只动物，其中6只狗，4只猫，现在有一个分类器将这10只动物进行分类，分类结果为5只狗，5只猫，那么我们画出分类结果混淆矩阵，并进行分析，如下（我们把狗作为正类）： 如果
ROC和AUC介绍及计算
小长冲冲里的一只羊的专栏
08-20 7239
AUC是一种用来度量分类模型好坏的一个标准。它跟ROC有着密切的关系，所以先介绍ROC，再来分析AUC以及它的计算。 ROC曲线       ROC曲线能够反映分类的能力，它的横坐标是falsepositive rate(FPR)，纵坐标是truepositive rate(TPR)。（晕定义的可以跳到下一段）对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR
ROC介绍及AUC计算方法
huanghaishangfei的博客
11-17 2989
近段时间看了下有关ROC和AUC的相关知识，在这里总结一下，有任何不对的地方，欢迎大家指正。基础知识针对一个二分类问题，每个测试样本都会有一个真实分类和预测分类，因此可以得到四种结果： 真阳性（true positive）：真实值为正，预测值也为正； 假阳性（false positive）：真实值为正，预测值为负； 真阴性（true negative）：真实值为负，预测值为正； 假阴性（false
利用Python画ROC曲线和AUC值计算
12-23
这篇文章将先简单的介绍ROC和AUC，而后用实例演示如何python作出ROC曲线图以及计算AUC。 AUC介绍 AUC(Area Under Curve)是机器学习二分类模型中非常常用的评估指标，相比于F1-Score对项目的不平衡有更大的容忍性，...
python计算auc指标实例
09-21
通过上述步骤，我们可以看到 Scikit-learn 提供了非常方便的方法来计算 AUC 和绘制 ROC 曲线。这对于评估和优化分类器的性能至关重要。希望本文能帮助读者更好地理解如何使用 Python 和 Scikit-learn 进行 AUC 计算...
svm.rar_AUC_ROC AUC_ROC和Auc_svm roc_支持向量机
09-24
main.cpp应该是主程序，它会调用svm.cpp中的函数，处理输入数据，训练SVM模型，并根据测试集计算AUC和ROC曲线。svm.h可能包含了SVM类的声明，定义了对外接口和其他必要的数据结构。 在实际操作中，这个改进的支持...
ROC曲线绘制以及AUC分数计算
03-06
该代码是用PYTHON编写的绘制ROC曲线和计算AUC分数的，对做异常检测，故障诊断等领域的朋友很有帮助
带你真正吃透AUC
天渡漫谈
07-07 1万+
本文旨在从所有教科书都讲到的AUC基本概念为起点，逐步带领大家进入AUC背后更为广阔、神奇的世界。 一、什么是AUC    AUC的全称为Area Under the Curve，即曲线下的面积。这里的曲线指的是什么曲线？有两种类型：ROC曲线和PR曲线。所以，AUC也会有两种类型：ROCAUC及PRAUC，分别对应ROC曲线下的面积以及PR曲线的的面积。 二、ROC曲线及PR曲线    在二分类问题中，模型输出得分SSS后（这里的得分指的是属于正例的概率值，即经过sigmoid函数归一化到[0,1]内.
ROC曲线理解
Bruce_0712的博客
05-18 2154
本文用于理解ROC曲线的定义，绘制过程及其应用实现，主要用于自我温习回顾基础 基本目录如下： 什么是ROC曲线？ 1.1 ROC曲线的历史 1.2 ROC曲线的定义 1.3 ROC曲线的应用场景 如何绘制ROC曲线？ 2.1 ROC曲线的绘制原理 2.2 ROC曲线绘制的Python实现 ------------------第一菇 - 什么是ROC曲线------------------ 1.1 ROC曲线的历史 自从读了吴军老师的《数学之美》，我就想明白了一件事情，如果
ROC曲线
qq_41896151的博客
03-14 5610
1.ROC曲线全称为受试者工作特征曲线 （receiver operating characteristic curve，一般都处于y=x直线的上方，取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。 2.ROC曲线的横坐标是假阳性率（False Positive Rate），纵坐标是真阳性率（True Positive Rate），相应的还有真阴性率（True Negative Rate）和假阴性率（False Negative Rate）。这四类指
什么是ROC曲线？为什么要使用ROC?以及 AUC的计算
种花家的奋斗兔的博客
11-25 6万+
一、ROC简介 ROC的全名叫做Receiver Operating Characteristic，中文名字叫“受试者工作特征曲线”，其主要分析工具是一个画在二维平面上的曲线——ROC 曲线。平面的横坐标是false positive rate(FPR)，纵坐标是true positive rate(TPR)。对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对...
python画出roc曲线 auc计算逻辑_利用Python画ROC曲线和AUC值计算，rocauc
weixin_39615643的博客
12-12 1326
利用Python画ROC曲线和AUC值计算，rocauc前言ROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器(binary classifier)的优劣。这篇文章将先简单的介绍ROC和AUC，而后用实例演示如何python作出ROC曲线图以及计算AUC。AUC介绍AUC(Area Under Curve)是机器学习二分类模型中非常常...
异常检测的评价指标：ROCAUC等【tips】
记录/交流，加油啊呀...
06-13 3175
分为图片级别（为整张图片打标签）的和像素级别（为每个像素打标签）的。roc 参数：标签，评价分数（也就是每个样本预测为正的概率），正样本标签（默认是0）。返回结果：fpr，tpr，thresholds。fpr：负正类率，负类预测为正类占所有负类的比例。tpr：真正类率，正类预测为正类占所有正类的比例。threshold：阈值aucthreshold是每个样本的评价分数，也就是每个样本预测为正的概率值，概率值有了，那这个样本是把他定为正样本还是负样本呢。所以规定，当threshold取其中一个样本的概率值
机器学习之分类器性能指标之ROC曲线、AUC值
热门推荐
zdy0_2004的专栏
04-08 6万+
机器学习之分类器性能指标之ROC曲线、AUC值 http://www.cnblogs.com/dlml/p/4403482.html 分类器性能指标之ROC曲线、AUC值 一 roc曲线 1、roc曲线：接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。 横轴：负正类率(false post
【机器学习】ROC曲线以及AUC面积的原理（理论+图解）
CSDN 精品推荐
07-08 1万+
  简 介：下面是我在学习时候的记录并加上自己的理解。本文意在记录自己近期学习过程中的所学所得，如有错误，欢迎大家指正。   关键词：Python、机器学习 一、什么是ROC曲线   我们通常说的ROC曲线的中文全称叫做接收者操作特征曲线（receiver operating characteristic curve），也被称为感受性曲线。 该曲线有两个维度，横轴为fpr（假正率），纵轴为tpr（真正率） 准确率（accuracy）：（TP+TN）/ ALL..
利用python画roc曲线和auc值计算
最新发布
05-01
ROC曲线和AUC值是描述二元分类模型性能的重要指标。Python作为一种高效的编程语言，提供了很多画ROC曲线和计算AUC值的工具。 要画ROC曲线，需要先得到模型的预测概率分数和真实标签。然后，可以使用sklearn.metrics包中的roc_curve和auc函数进行计算和绘图。具体步骤如下： 1. 从模型中得到预测概率分数和真实标签（0或1）。 2. 使用roc_curve函数计算出不同阈值下的真正率（True Positive Rate）和假正率（False Positive Rate）。 3. 使用plt.plot函数画出ROC曲线，并使用plt.show函数显示结果。 4. 使用auc函数计算AUC值。 示例代码如下： ``` from sklearn.metrics import roc_curve, auc import matplotlib.pyplot as plt # 获取预测概率分数和真实标签 y_pred = model.predict_proba(X_test)[:,1] fpr, tpr, thresholds = roc_curve(y_test, y_pred) # 画ROC曲线 plt.plot(fpr, tpr, label='ROC curve (area = %0.2f)' % auc(fpr, tpr)) plt.plot([0, 1], [0, 1], 'k--') plt.xlim([0.0, 1.0]) plt.ylim([0.0, 1.05]) plt.xlabel('False Positive Rate') plt.ylabel('True Positive Rate') plt.title('Receiver operating characteristic') plt.legend(loc="lower right") plt.show() # 计算AUC值 auc_value = auc(fpr, tpr) print('AUC value is: %.2f' % auc_value) ``` 在这个示例中，我们使用model.predict_proba函数获取模型的预测概率分数，X_test为测试数据，y_test为测试数据的真实标签。我们使用roc_curve函数计算出不同阈值下的真正率和假正率，并使用plt.plot函数画出ROC曲线。我们使用auc函数计算ROC曲线下的面积即AUC值，并输出AUC值。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值