ROC

最新推荐文章于 2024-05-28 07:30:00 发布
最新推荐文章于 2024-05-28 07:30:00 发布
阅读量1.4k 收藏 1
点赞数
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreamerLLL/article/details/86147231
版权

ROC

 

ROC分析相关

ROC(Receiver Operating Characteristic,受试者工作特征曲线)的概念来自信号检测原理中

    • 最初只是为了区分噪声和非噪声
    • 对于二分类问题具有很好的表现性能（仅仅是二分类问题，即是非，无有，0/1等）
    • 通过以(FPR,TPR)为坐标点画出二维平面中的曲线，即ROC曲线 
      • Recall = TPR = TP/(TP+FN) (True Positive Rate,也叫”sensitivity”或者”recall”或”召回率”或”查全率”或”真阳性率”)
      • FPR = FP/(FP+TN) (False Positive Rate,也叫”Fall-Out”或者”假阳性率”)
      • Precision = TP/(TP+FP) (精确度/率)
      • Accuracy = (TP+FN)/(P+N) = (TP+FN) / (TP + FN + FP + FN) (准确率，姑且这么叫吧，其中P为所有的正样本，N为所有的负样本)
      • F-Meature = 2(Precision*Recall)/(Precision + Recall)

 

 下面通过一个例子来分析：一个场景是在人脸检测（Detection）中，很多相关的研究或者企业评价他们的检测性能程度是通过ROC曲线来评定的，如知名的人脸检测评测平台FDDB(Face Detection Data Set and Benchmar)

是由马萨诸塞大学计算机系维护的一套公开数据库，为来自全世界的研究者提供一个标准的人脸检测评测平台，其中涵盖在自然环境下的各种姿态的人脸;该校还维护了LFW等知名人脸数据库供研究者做人脸识别(Recognition)的研究，数据集P和N均为

ground truth，即已经标定好是有人脸，如下定义：

 P(有人脸数据集)N(无人脸数据集)
被检测出人脸TP　　　　　　　　FN　　　　　　　　
未被检测出FPTN

 ROC曲线中用（FPR,TPR）来表示坐标系中的（X,Y）坐标

ROC距离基线（ROC Space Baseline）

  • 一个分类器得到的ROC坐标点总是在距离基线的上方的
  • 预测值总是在0~1

当有多个分类器时（这里可以认为有多个不同性能的人脸检测模型或者是同一个人脸检测模型的不同检测阈值作为分类器），得到ROC图：

  • 这个图叫”ROC Convex Hull”
  • 在C1,C2,C4,C5连线下方总是没有这条线(Hull)上的分类器好，比如C3

    ISO精度线（ISO Accuracy Lines）

 

  • 用neg表示二分类中的负类个数，如无人脸数据个数
  • 用pos表示二分类中的正类个数，如有人脸数据个数

  那么ISO精度线表示为：y=ax+b

  • a即为这条线的斜率(slope)
  • a=neg/pos
  • 在将ROC距离基线分割就得到了ISO精度线

选取最优的分类器

选取最优分类器，或者从上面说的选取最优的人脸检测模型或者是同一个人脸检测模型中最优的阈值（Threshold）。从ROC曲线中可以得知，TPR越高，FPR越低则代表着分类器越好，即靠近ROC坐标左上角。

 

  • 首先得到ISO精度线的斜率slope=neg/pos(注意斜率可能大于1)
  • 选择以slope为斜率的直线，初始截距为0
  • 往左上角移动该直线，直到遇到最后一个分类器，即为最优分类器（如图中C4）

  ROC曲线有一个很好的优点，当正负样本（P和N）数量变化时，ROC曲线能够保持不变，这就为找到最优分类器提供了保证。

通过程序找到最优分类器

即求离散ROC曲线与ISO精度线的切点了，这个切点就是最优分类器

首先是要计算得到各分类器的ROC坐标的，即通过求取TP,FP,TN,FN,然后求取TPR,FPR获得坐标，再通过已知的ISO精度线slope，就可以计算得到切点了

 关于ROC下面积

一般来说，ROC曲线下面积在0到1之间。如果一项诊断试验的灵敏度是1，而假阳性率是0，那么该诊断试验的ROC曲线下面积就是1。但是这样的诊断试验几乎不存在，一个诊断试验往往不能将所有的患者和非患者都准确地识别出来。同时，也不会出现某一项诊断试验的ROC曲线下面积为0的情况，因为基本不会有一项诊断试验错误地识别了所有的患者和非患者。即使真的有这样的诊断试验，我们只需要将所有的诊断结果反过来，就可以得到完美结果。

也因为如此，我们认为ROC曲线下面积不会低于0.5，如果低了，我们只需将诊断翻转，就能得到更好的结果。如果诊断试验的结果完全随机（等同于诊断时，靠投掷硬币，正面向上认为是患者，反面向上认为是非患者），那么我们得到的ROC曲线下面积就是0.5，即ROC曲线下面积的最小值是0.5。

可见，只要ROC曲线下面积大于0.5，就证明该诊断试验具有一定的诊断价值。同时，ROC曲线下面积越接近1，离（0，1）点越近，证明诊断试验的真实性越好

 

参见：http://blog.csdn.net/FreeApe/article/details/52090515

 
 
 
 
 
 
 
posted @ 2018-03-12 20:12 DELH 阅读(...) 评论(...) 编辑 收藏
s_ky_
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
【信号与系统学习笔记】—— 拉普拉斯反变换+由零极点图对傅里叶变换几何求值
凝望，划过星空的博客
06-06 1万+
在开始本文的学习之前，大家需要记忆两种特殊形式的信号所对应的拉氏变换以及其对应的 ROC 区域： 信号 x(t)=e−atu(t)x(t) = e^{-at}u(t)x(t)=e−atu(t)，其拉氏变换为：X(s)=1s+aX(s) = \frac{1}{s+ a}X(s)=s+a1​，ROC为：Re{s}>−aRe\{s\} > -aRe{s}>−a（也就是以 σ=−aσ = -aσ=−a 为轴右边的所有区域） 信号 x(t)=−e−atu(−t)x(t) = -e^{-at}u.
数字信号处理双语版复习笔记8（chapter3.2-3.3）
岛田悠米
06-14 1473
单词:ROC(收敛域) a connected region(连通的区域) the impulse response (单位脉冲响应) Inspection Method(观察法) Partial Fraction Expansion(部分分式展开) Power Series Expansion(幂级数展开法) Long Division(长除法) 知识点： 1、ROC一定由z平面的一个圆环组成，ROC必须是一个连通的区域 2、h[n]稳定意味着ROC包括单位圆 h[n]因果意味着h[n]是右边序列
受试者工作特征曲线（Receiver Operating Characteristic curve，ROC）
最新发布
weixin_43156294的博客
05-28 1284
ROC分析，全称为“受试者工作特征”曲线（Receiver Operating Characteristic curve），起源于二战时期，由电子工程师和雷达工程师用于侦测战场上的敌军载具，如今在机器学习和医学诊断等领域有着广泛的应用。ROC曲线的主要功能是展示分类模型在各种阈值设置下的效能。具体来说，ROC曲线通过图形化的方式展示了模型的真正率（TPR）与假正率（FPR）之间的关系。
【信号与系统学习笔记】—— 拉普拉斯变换的性质分析
凝望，划过星空的博客
06-05 5622
文章目录一、信号的收敛域与零极点图的关系二、拉普拉斯变换的特点2.1 线性性2.2 时移性2.3 S域平移 一、信号的收敛域与零极点图的关系 如果信号的拉普拉斯变换是：X(s)X(s)X(s)，假设它是一个有理的（即可以表示成两个多项式的比值）：X(s)=N(s)D(s) X(s) = \frac{N(s)}{D(s)}X(s)=D(s)N(s)​ 令 N(s)=0N(s) = 0N(s)=0，求出来的解是 X(s)X(s)X(s) 的零点。令 D(s)=0D(s) = 0D(s)=0，求出的解是 X(s)
【信号与系统学习笔记】【课程终章】—— 离散傅里叶变换的扩展：z 变换分析2
凝望，划过星空的博客
06-18 3849
上文中，我们学习了《信号与系统》的第十章——z变换。这是我们学院教学大纲所要求的最后一章内容。因此，这将是本系列专栏的最后一篇课程笔记啦！但是文章却不止于此，平时关于信号与系统的一些思考我也会继续发上这个专栏的噢！那么下面我们先回顾一下关于z变换，我们之前都说了啥： 1. 常见的z变换对 【1】必须要记得的两个z变换对：anu[n]a^nu[n]anu[n] 的z 变换为：11−az−1\frac{1}{1 - az^{-1}}1−az−11​，ROC为：∣z∣>∣a∣|z| > |a|∣z.
ROC和AUC介绍
marho
04-16 1755
最近看到关于ROC和AUC介绍及一篇好博客，转载一下，便于回顾。 ROC（Receiver Operating Characteristic）曲线和AUC常被用来评价一个二值分类器（binary classifier）的优劣，这篇博文简单介绍ROC和AUC的特点，以及更为深入地，讨论如何作出ROC曲线图以及计算AUC。 # ROC曲线 需要提前说明的是，我们这里只讨论二值分类器。对于分类
Roc
03-30
【Roc】是一种在Python生态系统中广泛使用的框架，它的全称是"Resource Orchestration Compiler"，主要用于构建、管理和部署复杂的数据处理工作流。Roc致力于简化数据分析、机器学习和人工智能项目的开发流程，通过...
ROC曲线 matlab实现
05-16
接受者操作特性曲线 （receiver operating characteristic curve，简称ROC曲线），又称为感受性曲线（sensitivity curve）。得此名的原因在于曲线上各点反映着相同的感受性，它们都是对同一信号刺激的反应，只不过是...
解决ROC曲线画出来只有一个点的问题
09-17
ROC曲线（Receiver Operating Characteristic Curve）是评估二分类模型性能的一种重要工具，它通过展示真正例率（True Positive Rate, TPR）与假正例率（False Positive Rate, FPR）之间的关系，来帮助分析模型在...
ROC学习笔记
03-16
### ROC学习笔记 #### ROC 曲线概述 ROC（Receiver Operating Characteristic）曲线是一种用于评估分类模型性能的图形表示方法，常被应用在统计学、机器学习和信息检索等领域。ROC 曲线能够直观地展现出分类器在...
利用Python画ROC曲线和AUC值计算
12-23
这篇文章将先简单的介绍ROC和AUC，而后用实例演示如何python作出ROC曲线图以及计算AUC。 AUC介绍 AUC(Area Under Curve)是机器学习二分类模型中非常常用的评估指标，相比于F1-Score对项目的不平衡有更大的容忍性，...
ROC(receiver operating characteristic curve)曲线绘制
08-21
ROC曲线是评价分类效果良好的常用图表，图标的纵轴为真阳性率，横轴为假阳性率，曲线越靠近左上角，分类器模型表现越好
ROC曲线：接收者操作特征曲线
eight_Jessen的博客
08-13 3992
接收者操作特征曲线（receiver operating characteristic curve，或者叫ROC曲线） 在做决策时，ROC分析能不受成本／效益的影响，给出客观中立的建议 分类模型（又称分类器，或诊断）是将一个实例映射到一个特定类的过程。 二元分类模型的个案预测有四种： 这四种结局可以画成2 × 2的混淆矩阵： ROC空间 ROC空间将伪阳性率（FPR）定义为 X 轴，真阳性率（TPR）定义为 Y 轴。 TPR：在所有实际为阳性的样本中，被正确地判断为阳性之比率。 (TPR=TP/(TP+
ROC曲线学习总结
热门推荐
忆殇D.Rose的博客
08-19 9万+
文章目录ROC曲线学习总结1. ROC曲线(Receiver Operating Characteristic)的概念和绘制2. 利用ROC曲线评价模型性能——AUC(Area Under Curve)3. 利用ROC曲线选择最佳模型3.1 不同模型之间选择最优模型3.2 同一模型中选择最优点对应的最优模型3.3 当测试集中的正负样本的分布变换的时候，ROC曲线能够保持不变ROC曲线在对分类问...
什么是ROC曲线？为什么要使用ROC?以及 AUC的计算
种花家的奋斗兔的博客
11-25 6万+
一、ROC简介 ROC的全名叫做Receiver Operating Characteristic，中文名字叫“受试者工作特征曲线”，其主要分析工具是一个画在二维平面上的曲线——ROC 曲线。平面的横坐标是false positive rate(FPR)，纵坐标是true positive rate(TPR)。对某个分类器而言，我们可以根据其在测试样本上的表现得到一个TPR和FPR点对...
数据挖掘-分类器的ROC曲线及相关指标（ROC、AUC、ACC）详解
身披白袍的博客
09-19 2万+
ROC曲线，常常与二分类问题及两类错误率相关。
ROC 曲线讲解 （Receiver Operarating Curve）
以梦为马，不日抵达。
01-15 4107
概念 在信号检测理论中，接收者操作特征曲线（receiver operating characteristic curve，或者叫ROC曲线）是一种坐标图式的分析工具，在同一模型中设置最佳阈值。by Wikipedia ROC曲线的画法如下图所示，每个点表示不同阈值下 TP（横坐标) FP（纵坐标）的值， TP，FP的定义如下 　 　 实际值 　 　 ture 真的 false 假的 预测值 ture 真的 TP (true positive)
R语言基于ggplot绘制多条ROC曲线
dege857的博客
11-11 1万+
ROC曲线也叫受试者工作曲线，原来用在军事雷达中，后面广泛应用于医学统计中。ROC曲线是根据一系列不同的二分类方式(分界值或决定阈)，以真阳性率(灵敏度)为纵坐标，假阳性率(1-特异度)为横坐标绘制的曲线。 ROC曲线主要应用于二分类结局，比如是否死亡，疾病诊断，肿瘤复发等等，可以用于自变量为连续变量的截点判定。 既往我们已经介绍了R语言基于pROC包绘制ROC曲线，不少粉丝发信息问怎么使用ggplot绘制ROC曲线，今天我们来演示一下，续使用我们的肺炎数据(公众号回复：肺炎，可以获得数据),我们先导入包
ROC matlab
09-04
要编写一个自动画出ROC曲线的函数，可以使用以下步骤： 1. 首先，你需要收集分类器预测结果的真实标签和预测概率。将真实标签和预测概率作为输入参数传递给函数。 2. 在函数中，根据预测概率和真实标签计算不同阈值下的真正例率（True Positive Rate）和假正例率（False Positive Rate）。 3. 使用得到的真正例率和假正例率，绘制ROC曲线。可以使用Matlab中的plot函数来实现。 4. 计算ROC曲线下的面积（AUC值）。可以使用Matlab中的trapz函数来计算。 下面是一个Matlab函数的示例代码，用于自动画出ROC曲线： ```matlab function roc_curve(labels, scores) % 计算不同阈值下的真正例率和假正例率 [fpr, tpr, ~ = perfcurve(labels, scores, 1); % 绘制ROC曲线 plot(fpr, tpr); xlabel('False Positive Rate'); ylabel('True Positive Rate'); title('ROC Curve'); % 计算AUC值 auc = trapz(fpr, tpr); fprintf('AUC: %.4f\n', auc); end ``` 使用这个函数，你可以传入真实标签和预测概率来画出ROC曲线，并计算AUC值。例如，假设你有以下测试数据： ```matlab labels = [1, 0, 1, 1, 0]; scores = [0.9, 0.3, 0.8, 0.7, 0.2]; ``` 你可以调用函数来画出ROC曲线： ```matlab roc_curve(labels, scores); ``` 这会生成一个ROC曲线，并输出AUC的值。 请注意，这只是一个示例代码，你可以根据实际需求进行修改和优化。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [ROC曲线的matlab技巧实现](https://blog.csdn.net/njustzj001/article/details/21885299)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [matlab实现ROC曲线](https://blog.csdn.net/weixin_41930950/article/details/122643666)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值