ROC

最新推荐文章于 2024-10-05 13:30:56 发布
最新推荐文章于 2024-10-05 13:30:56 发布
阅读量1.6k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreamerLLL/article/details/86147231
版权

ROC

 

ROC分析相关

ROC(Receiver Operating Characteristic,受试者工作特征曲线)的概念来自信号检测原理中

    • 最初只是为了区分噪声和非噪声
    • 对于二分类问题具有很好的表现性能（仅仅是二分类问题，即是非，无有，0/1等）
    • 通过以(FPR,TPR)为坐标点画出二维平面中的曲线，即ROC曲线 
      • Recall = TPR = TP/(TP+FN) (True Positive Rate,也叫”sensitivity”或者”recall”或”召回率”或”查全率”或”真阳性率”)
      • FPR = FP/(FP+TN) (False Positive Rate,也叫”Fall-Out”或者”假阳性率”)
      • Precision = TP/(TP+FP) (精确度/率)
      • Accuracy = (TP+FN)/(P+N) = (TP+FN) / (TP + FN + FP + FN) (准确率，姑且这么叫吧，其中P为所有的正样本，N为所有的负样本)
      • F-Meature = 2(Precision*Recall)/(Precision + Recall)

 

 下面通过一个例子来分析：一个场景是在人脸检测（Detection）中，很多相关的研究或者企业评价他们的检测性能程度是通过ROC曲线来评定的，如知名的人脸检测评测平台FDDB(Face Detection Data Set and Benchmar)

是由马萨诸塞大学计算机系维护的一套公开数据库，为来自全世界的研究者提供一个标准的人脸检测评测平台，其中涵盖在自然环境下的各种姿态的人脸;该校还维护了LFW等知名人脸数据库供研究者做人脸识别(Recognition)的研究，数据集P和N均为

ground truth，即已经标定好是有人脸，如下定义：

 P(有人脸数据集)N(无人脸数据集)
被检测出人脸TP　　　　　　　　FN　　　　　　　　
未被检测出FPTN

 ROC曲线中用（FPR,TPR）来表示坐标系中的（X,Y）坐标

ROC距离基线（ROC Space Baseline）

  • 一个分类器得到的ROC坐标点总是在距离基线的上方的
  • 预测值总是在0~1

当有多个分类器时（这里可以认为有多个不同性能的人脸检测模型或者是同一个人脸检测模型的不同检测阈值作为分类器），得到ROC图：

  • 这个图叫”ROC Convex Hull”
  • 在C1,C2,C4,C5连线下方总是没有这条线(Hull)上的分类器好，比如C3

    ISO精度线（ISO Accuracy Lines）

 

  • 用neg表示二分类中的负类个数，如无人脸数据个数
  • 用pos表示二分类中的正类个数，如有人脸数据个数

  那么ISO精度线表示为：y=ax+b

  • a即为这条线的斜率(slope)
  • a=neg/pos
  • 在将ROC距离基线分割就得到了ISO精度线

选取最优的分类器

选取最优分类器，或者从上面说的选取最优的人脸检测模型或者是同一个人脸检测模型中最优的阈值（Threshold）。从ROC曲线中可以得知，TPR越高，FPR越低则代表着分类器越好，即靠近ROC坐标左上角。

 

  • 首先得到ISO精度线的斜率slope=neg/pos(注意斜率可能大于1)
  • 选择以slope为斜率的直线，初始截距为0
  • 往左上角移动该直线，直到遇到最后一个分类器，即为最优分类器（如图中C4）

  ROC曲线有一个很好的优点，当正负样本（P和N）数量变化时，ROC曲线能够保持不变，这就为找到最优分类器提供了保证。

通过程序找到最优分类器

即求离散ROC曲线与ISO精度线的切点了，这个切点就是最优分类器

首先是要计算得到各分类器的ROC坐标的，即通过求取TP,FP,TN,FN,然后求取TPR,FPR获得坐标，再通过已知的ISO精度线slope，就可以计算得到切点了

 关于ROC下面积

一般来说，ROC曲线下面积在0到1之间。如果一项诊断试验的灵敏度是1，而假阳性率是0，那么该诊断试验的ROC曲线下面积就是1。但是这样的诊断试验几乎不存在，一个诊断试验往往不能将所有的患者和非患者都准确地识别出来。同时，也不会出现某一项诊断试验的ROC曲线下面积为0的情况，因为基本不会有一项诊断试验错误地识别了所有的患者和非患者。即使真的有这样的诊断试验，我们只需要将所有的诊断结果反过来，就可以得到完美结果。

也因为如此，我们认为ROC曲线下面积不会低于0.5，如果低了，我们只需将诊断翻转，就能得到更好的结果。如果诊断试验的结果完全随机（等同于诊断时，靠投掷硬币，正面向上认为是患者，反面向上认为是非患者），那么我们得到的ROC曲线下面积就是0.5，即ROC曲线下面积的最小值是0.5。

可见，只要ROC曲线下面积大于0.5，就证明该诊断试验具有一定的诊断价值。同时，ROC曲线下面积越接近1，离（0，1）点越近，证明诊断试验的真实性越好

 

参见：http://blog.csdn.net/FreeApe/article/details/52090515

 
 
 
 
 
 
 
posted @ 2018-03-12 20:12 DELH 阅读(...) 评论(...) 编辑 收藏
s_ky_
关注
数据挖掘-分类器的ROC曲线及相关指标（ROC、AUC、ACC）详解
身披白袍的博客
09-19 2万+
ROC曲线，常常与二分类问题及两类错误率相关。
【信号与系统学习笔记】—— 拉普拉斯反变换+由零极点图对傅里叶变换几何求值
凝望，划过星空的博客
06-06 1万+
在开始本文的学习之前，大家需要记忆两种特殊形式的信号所对应的拉氏变换以及其对应的 ROC 区域： 信号 x(t)=e−atu(t)x(t) = e^{-at}u(t)x(t)=e−atu(t)，其拉氏变换为：X(s)=1s+aX(s) = \frac{1}{s+ a}X(s)=s+a1​，ROC为：Re{s}>−aRe\{s\} > -aRe{s}>−a（也就是以 σ=−aσ = -aσ=−a 为轴右边的所有区域） 信号 x(t)=−e−atu(−t)x(t) = -e^{-at}u.
数字信号处理双语版复习笔记8（chapter3.2-3.3）
岛田悠米
06-14 1656
单词:ROC(收敛域) a connected region(连通的区域) the impulse response (单位脉冲响应) Inspection Method(观察法) Partial Fraction Expansion(部分分式展开) Power Series Expansion(幂级数展开法) Long Division(长除法) 知识点： 1、ROC一定由z平面的一个圆环组成，ROC必须是一个连通的区域 2、h[n]稳定意味着ROC包括单位圆 h[n]因果意味着h[n]是右边序列
ROC曲线深度解析
最新发布
所念皆星河
10-05 182
它通过在不同阈值下计算模型的真阳性率（True Positive Rate, TPR）和假阳性率（False Positive Rate, FPR）来全面评估分类器的表现，随着机器学习的发展，尤其是在医疗诊断、欺诈检测和金融风险控制等领域，ROC曲线成为衡量分类器性能的标准方法。这里绘制随机森林模型在多分类任务中的ROC曲线，包括每个类别的ROC曲线、宏平均ROC曲线以及随机猜测的参考线，图中还显示了每个类别及宏平均的AUC值，用于评估模型的分类性能，具体解释前文已给出。一般情况下，AUC值可以这样理解。
【信号与系统学习笔记】—— 拉普拉斯变换的性质分析
凝望，划过星空的博客
06-05 6549
文章目录一、信号的收敛域与零极点图的关系二、拉普拉斯变换的特点2.1 线性性2.2 时移性2.3 S域平移 一、信号的收敛域与零极点图的关系 如果信号的拉普拉斯变换是：X(s)X(s)X(s)，假设它是一个有理的（即可以表示成两个多项式的比值）：X(s)=N(s)D(s) X(s) = \frac{N(s)}{D(s)}X(s)=D(s)N(s)​ 令 N(s)=0N(s) = 0N(s)=0，求出来的解是 X(s)X(s)X(s) 的零点。令 D(s)=0D(s) = 0D(s)=0，求出的解是 X(s)
【信号与系统学习笔记】【课程终章】—— 离散傅里叶变换的扩展：z 变换分析2
凝望，划过星空的博客
06-18 4185
上文中，我们学习了《信号与系统》的第十章——z变换。这是我们学院教学大纲所要求的最后一章内容。因此，这将是本系列专栏的最后一篇课程笔记啦！但是文章却不止于此，平时关于信号与系统的一些思考我也会继续发上这个专栏的噢！那么下面我们先回顾一下关于z变换，我们之前都说了啥： 1. 常见的z变换对 【1】必须要记得的两个z变换对：anu[n]a^nu[n]anu[n] 的z 变换为：11−az−1\frac{1}{1 - az^{-1}}1−az−11​，ROC为：∣z∣>∣a∣|z| > |a|∣z.
ROC和AUC介绍
marho
04-16 1788
最近看到关于ROC和AUC介绍及一篇好博客，转载一下，便于回顾。 ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。 # ROC曲线 需要提前说明的是，我们这里只讨论二值分类器。对于分类
ROC.rar_ROC performance_ROC曲线_性能曲线_边缘检测_边缘检测 性能
07-15
ROC（Receiver Operating Characteristic）曲线是评估二分类模型性能的重要工具，尤其在图像处理和边缘检测领域中广泛应用。本文将详细解析ROC曲线的概念、生成过程以及如何在MATLAB环境中使用它来评估边缘检测的...
通达信指标公式源码 MACD-ROC副图.doc
07-30
通达信指标公式源码 MACD-ROC 副图 通达信指标公式是技术分析中最常用的指标之一，MACD（Moving Average Convergence Divergence，移动平均聚合离散指标）和ROC（Rate of Change，变化率）是两种常用的技术指标。...
python实现二分类和多分类的ROC曲线教程
09-16
在机器学习领域，ROC曲线（Receiver Operating Characteristic Curve）是一种评估分类器性能的重要工具，尤其适用于二分类和多分类任务。ROC曲线通过绘制真正阳性率（True Positive Rate, TPR）与假阳性率（False ...
解决ROC曲线画出来只有一个点的问题
09-17
ROC曲线（Receiver Operating Characteristic Curve）是评估二分类模型性能的一种重要工具，它通过展示真正例率（True Positive Rate, TPR）与假正例率（False Positive Rate, FPR）之间的关系，来帮助分析模型在...
ROC(receiver operating characteristic curve)曲线绘制
08-21
ROC曲线是评价分类效果良好的常用图表，图标的纵轴为真阳性率，横轴为假阳性率，曲线越靠近左上角，分类器模型表现越好
ROC曲线：接收者操作特征曲线
eight_Jessen的博客
08-13 4176
接收者操作特征曲线（receiver operating characteristic curve，或者叫ROC曲线） 在做决策时，ROC分析能不受成本／效益的影响，给出客观中立的建议 分类模型（又称分类器，或诊断）是将一个实例映射到一个特定类的过程。 二元分类模型的个案预测有四种： 这四种结局可以画成2 × 2的混淆矩阵： ROC空间 ROC空间将伪阳性率（FPR）定义为 X 轴，真阳性率（TPR）定义为 Y 轴。 TPR：在所有实际为阳性的样本中，被正确地判断为阳性之比率。 (TPR=TP/(TP+
什么是ROC曲线？为什么要使用ROC?以及 AUC的计算
种花家的奋斗兔的博客
11-25 6万+
一、ROC简介 ROC的全名叫做Receiver Operating Characteristic，中文名字叫“受试者工作特征曲线”，其主要分析工具是一个画在二维平面上的曲线——ROC 曲线。平面的横坐标是false positive rate(FPR)，纵坐标是true positive rate(TPR)。对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对...
ROC曲线学习总结
热门推荐
忆殇D.Rose的博客
08-19 9万+
文章目录ROC曲线学习总结1. ROC曲线(Receiver Operating Characteristic)的概念和绘制2. 利用ROC曲线评价模型性能——AUC(Area Under Curve)3. 利用ROC曲线选择最佳模型3.1 不同模型之间选择最优模型3.2 同一模型中选择最优点对应的最优模型3.3 当测试集中的正负样本的分布变换的时候，ROC曲线能够保持不变ROC曲线在对分类问...
ROC 曲线讲解 （Receiver Operarating Curve）
以梦为马，不日抵达。
01-15 4326
概念 在信号检测理论中，接收者操作特征曲线（receiver operating characteristic curve，或者叫ROC曲线）是一种坐标图式的分析工具，在同一模型中设置最佳阈值。by Wikipedia ROC曲线的画法如下图所示，每个点表示不同阈值下 TP（横坐标) FP（纵坐标）的值， TP，FP的定义如下 　 　 实际值 　 　 ture 真的 false 假的 预测值 ture 真的 TP (true positive)
受试者工作特征曲线（Receiver Operating Characteristic curve，ROC）
weixin_43156294的博客
05-28 2570
ROC分析，全称为“受试者工作特征”曲线（Receiver Operating Characteristic curve），起源于二战时期，由电子工程师和雷达工程师用于侦测战场上的敌军载具，如今在机器学习和医学诊断等领域有着广泛的应用。ROC曲线的主要功能是展示分类模型在各种阈值设置下的效能。具体来说，ROC曲线通过图形化的方式展示了模型的真正率（TPR）与假正率（FPR）之间的关系。
R语言基于ggplot绘制多条ROC曲线
dege857的博客
11-11 1万+
ROC曲线也叫受试者工作曲线，原来用在军事雷达中，后面广泛应用于医学统计中。ROC曲线是根据一系列不同的二分类方式(分界值或决定阈)，以真阳性率(灵敏度)为纵坐标，假阳性率(1-特异度)为横坐标绘制的曲线。 ROC曲线主要应用于二分类结局，比如是否死亡，疾病诊断，肿瘤复发等等，可以用于自变量为连续变量的截点判定。 既往我们已经介绍了R语言基于pROC包绘制ROC曲线，不少粉丝发信息问怎么使用ggplot绘制ROC曲线，今天我们来演示一下，续使用我们的肺炎数据(公众号回复：肺炎，可以获得数据),我们先导入包
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值