文章目录
前言
受试者工 作特性曲线(Receiver Operating Characteristic curve, ROC),又称为感受性曲线(sensitivity curve) 。是一种坐标图式的分析工具,是由二战中的电子和雷达工程师发明的,发明之初是用来侦测敌军飞机、船舰,后来被应用于医学、生物学、犯罪心理学。
如今,ROC 曲线已经被广泛应用于机器学习领域的模型评估,说到这里就不得不提到 Tom Fawcett 大佬,发布的论文**《An introduction to ROC analysis》被奉为 ROC 的经典之作,知名机器学习库 scikit-learn 中的 ROC 算法就是参考此论文实现,可见其影响力!
ROC曲线的主要功能是展示分类模型在各种阈值设置下的效能**。具体来说,通过显示真阳性率(True Positive Rate,简称 TPR)与假阳性率(False Positive Rate,简称 FPR)之间的权衡来帮助我们理解模型的分类能力。
例:如上图中的蓝色曲线就是 ROC 曲线,它常被用来评价二值分类器的优劣,即评估模型预测的准确度。
二值分类器,就是字面意思它会将数据分成两个类别(正/负样本)。例如:预测银行用户是否会违约、内容分为违规和不违规,以及广告过滤、图片分类等场景。
坐标系中纵轴为 TPR((true positive rate)(真阳率/命中率/召回率)最大值为 1,横轴为 FPR( false
positive rate)(假阳率/误判率)最大值为 1,虚线为基准线(最低标准),蓝色的曲线就是 ROC 曲线。其中 ROC
曲线距离基准线越远,则说明该模型的预测效果越好。
- ROC 曲线接近左上角:模型预测准确率很高;
- ROC 曲线略高于基准线:模型预测准确率一般;
- ROC 低于基准线:模型未达到最低标准,无法使用;
是不是还没有充分理解,咱们继续学习。
一、ROC 的基本背景知识?
1.四种分类TP/FP/TN/FN
考虑一个二分类模型, 负样本(Negative) 标签为 0,正样本(Positive) 标签为 1。即:
标签 y y y 的取值为 0 或 1。
模型预测的标签为 y ^ \hat{y} y^<