AUC指标详解

最新推荐文章于 2024-07-26 08:00:00 发布

HMoS

最新推荐文章于 2024-07-26 08:00:00 发布

阅读量838

点赞数 24

文章标签：机器学习深度学习

本文链接：https://blog.csdn.net/shuaibuzhi1mian/article/details/140573523

版权

AUC 指标详解

AUC (Area Under ROC Curve): ROC曲线下面积；
ROC (Receiver Operating Characteristic) 受试者工作特征曲线；
TRP (True Positive Rate) 真正例率；
FPR (False Positive Rate)假正例率；

指标计算方法

通过本教程，你可以了解不同任务场景下适合使用的AUC计算方法。

当你对机器学习的评价指标已经有了基本认识，你会了解到F1, ACC, AUC等等常用的指标，他们的计算基础都是分类结果的混淆矩阵。通常情况下，当模型类别的区分程度不高时，往往会倾向于将AUC也作为模型的评价指标（比如当模型的预测结果区分度不大，但是相对大小明确，e.g. 标签为0的样本，预测概率为[0.4,0.3,0.3],往往使用acc这样的指标很难预测准确，但是使用auc就对此进行一定的描述），这样的评价指标并不依赖于特定阈值的选择，因此具有很强的可比性。

AUC的计算可以理解为一个遍历阈值的过程，通过不同的阈值画出ROC曲线，计算曲线下面积。
$TPR=\frac{TP}{TP+FN}$
$FPR=\frac{FP}{TN+FP}$
分别以它们为横轴、纵轴作图，就得到了ROC曲线，由于在实际情况下是有限个样本，因此ROC曲线图是由离散的线段构成，因此可以通过分段函数的方式求得准确的AUC。

代码说明

在代码的实际使用中，往往直接调用sklearn的roc_auc_score函数实现该功能，但是在网上并没有找到很详细的sklearn AUC使用指南，因此这里给几个比较简单好理解的例子分类为大家说明一下AUC函数的使用方法。

首先先说明一下AUC计算不同的情况：

在这里插入图片描述

我将实际的任务分为了不同的情况进行考虑，在表格中，我分别标注了不同情况下函数对于输入的size要求。sklearn会根据y_true的尺寸判断任务类型为multi-label还是multi-class。下面我分别举例对几种情况的输入进行举例说明：

from sklearn.metrics import roc_auc_score
import numpy as np

# multi-label binary
multi_label = np.array([[0,1],[0,1],[1,0],[0,1]])
probs = np.array([[0.2, 0.8], [0.3, 0.7], [0.4, 0.6], [0.5, 0.5]])

auc_score_micro = roc_auc_score(multi_label, probs, multi_class='ovr', average='micro')
auc_score_macro = roc_auc_score(multi_label, probs, multi_class='ovr', average='macro')

# multi-label, C>2
multi_label = np.array([[1,0,0],
                        [0,1,0],
                        [1,0,0],
                        [0,0,1]])
probs = np.array([[0.2, 0.8, 0.],
                 [0.3, 0.7, 0.],
                 [0.4, 0.6, 0.],
                 [0.5, 0.3, 0.2]])
auc_score_micro = roc_auc_score(multi_label, probs, multi_class='ovr', average='micro')
auc_score_macro = roc_auc_score(multi_label, probs, multi_class='ovr', average='macro')
auc_score_weighted = roc_auc_score(multi_label, probs, multi_class='ovr', average='weighted')

# multi-class binary
label = np.array([1, 1, 0, 1])
probs = np.array([[0.2, 0.8], [0.3, 0.7], [0.4, 0.6], [0.5, 0.5]])
auc_score_micro = roc_auc_score(label, probs[:,1], multi_class='ovr', average='micro')
auc_score_macro = roc_auc_score(label, probs[:,1], multi_class='ovr', average='macro')


# multi-class, C>2
label = np.array([0,1,0,2])
probs = np.array([[0.2, 0.8, 0.],
                 [0.3, 0.7, 0.],
                 [0.4, 0.6, 0.],
                 [0.5, 0.3, 0.2]])
# auc_score_micro = roc_auc_score(multi_label, probs, multi_class='ovr', average='micro')  # error
auc_score_macro = roc_auc_score(multi_label, probs, multi_class='ovr', average='macro')
auc_score_weighted = roc_auc_score(multi_label, probs, multi_class='ovr', average='weighted')