模型评估指标AUC

最新推荐文章于 2024-11-13 23:24:50 发布

泡泡龙的泡泡

最新推荐文章于 2024-11-13 23:24:50 发布

阅读量6.5k

点赞数 14

文章标签：机器学习深度学习 python

本文链接：https://blog.csdn.net/qq_40133431/article/details/121314137

版权

AUC（Area Under Curve）是评估分类模型性能的重要指标，通常用于二分类问题。它通过ROC曲线下的面积来衡量模型区分正负样本的能力，AUC值范围在0.5到1之间，值越接近1表示模型性能越好。混淆矩阵是理解AUC的基础，涉及真正例率(TPR)和伪阳性率(FPR)。ROC曲线由不同的阈值对应的不同(FPR, TPR)点连接而成，AUC值即ROC曲线下的面积。在广告推荐领域，传统AUC可能不适用，这时会采用GAUC（Group AUC）来评估用户对不同广告的排序能力。" 110652181,8567619,Seata实战：Spring Cloud Alibaba分布式事务解决方案,"['分布式事务', 'Seata', 'springcloud', '数据库']

摘要由CSDN通过智能技术生成

模型评估指标AUC 、

AUC（Area Under Curve）被定义为ROC曲线下与坐标轴围成的面积，显然这个面积的数值不会大于1。又由于ROC曲线一般都处于y=x这条直线的上方，所以AUC的取值范围在0.5和1之间。AUC越接近1.0，检测方法真实性越高;等于0.5时，则真实性最低，无应用价值。

AUC在机器学习领域中是一种模型评估指标。根据维基百科的定义，AUC(area under the curve)是ROC曲线下的面积。所以，在理解AUC之前，要先了解ROC是什么。而ROC的计算又需要借助混淆矩阵，因此，我们先从混淆矩阵开始谈起。

混淆矩阵

假设，我们有一个任务：给定一些患者的样本，构建一个模型来预测肿瘤是不是恶性的。在这里，肿瘤要么良性，要么恶性，所以这是一个典型的二分类问题。

假设我们用y=1表示肿瘤是良性，y=0表示肿瘤是恶性。则我们可以制作如下图的表格：

TP表示预测为良性，而实际也是良性的样例数；
FN表示预测为恶性，而实际是良性的样例数；
FP表示预测为良性，而实际是恶性的样例数；
TN表示预测为恶性，而实际也是恶性的样例数；

所以，上面这四个数就形成了一个矩阵，称为混淆矩阵。

两个变量

在这里插入图片描述
FPR表示，在所有的恶性肿瘤中，被预测成良性的比例。称为伪阳性率。伪阳性率告诉我们，随机拿一个恶性的肿瘤样本，有多大概率会将其预测成良性肿瘤。显然我们会希望FPR越小越好。

TPR表示，在所有良性肿瘤中，被预测为良性的比例。称为真阳性率。真阳性率告诉我们，随机拿一个良性的肿瘤样本时，有多大的概率会将其预测为良性肿瘤。显然我们会希望TPR越大越好。
如果以FPR为横坐标，TPR为纵坐标，就可以得到下面的坐标系：
在这里插入图片描述
纵坐标：TPR （预测为正，实际为正占所有实际为正比例）
横坐标：FPR （预测为正，实际为负占所有实际为负比例）