AUC的计算

AUC顾名思义就是ROC曲线下的面积,一种计算方法是直接计算面积;另一种方法是假设分类器的输出是样本属于正类的socre(置信度),则AUC的物理意义为,任取一对(正、负)样本(这里的正负样本是实际的正负样本,不是预测出的正负样本),正样本的score大于负样本的score的概率。关于AUC的博文如下:
[1] https://mp.weixin.qq.com/s/zeOviV1rjcSSwk79FznnNA
[2] https://www.cnblogs.com/gatherstars/p/6084696.html
[3] https://tracholar.github.io/machine-learning/2018/01/26/auc.html
[4] https://www.zhihu.com/question/39840928

假设有9个样本,其中7个负样本(-1),2个正样本(+1),分类器对这些样本进行分类预测,计算其对应的score,则每个样本的实际标签和预测score如下:第一列代表样本序号,第二列为样本真实标签,第三列为样本预测score
1.     -1     -1.1042
2.     -1    -1.10415
3.     -1    -1.10397
4.     +1    -1.10379
5.     -1    -1.10373
6.     -1    -1.10371
7.     +1    -1.10275
8.     -1    -1.10274
9.     -1    -1.10274

AUC的物理意义是:将所有M个正样本和N个负样本两两取对,形成M*N个配对,在这些配对中,正样本score大于负样本score的配对有P个,则AUC=P/MN

我们用代码计算AUC,令x=负样本个数,y=正样本个数,a=正样本score小于负样本score的配对个数,初始x=y=a=0,则执行过程如下:

先将所有样本按照score从小到大排序;
依次读取每一行,若是负样本:x++,a+=y;若是正样本:y++;
遍历所有行后,计算1-a/xy;

当读到第3个样本后,x=3,y=0,a=0;读到第4个样本后,x=3,y=1,a=0;读到第5个样本后,x=4,y=1,a=1(第4个样本和第5个样本配对时,正样本的score小于负样本的score);读到第6个样本后,x=5,y=1,a=2(第4个样本配对第5个样本,第4个样本配对第6个样本,2个配对的正样本score小于负样本score);当读到第9个样本后,x=7,y=2,a=6(样本4配样本5,样本4配样本6,样本4配样本8,样本7配样本8,样本4配样本9,样本7配样本9,6个配对的正样本score小于负样本score),此时AUC=0.57

也就是说7个负样本和2个正样本共组成14个正负样本对,其中8个配对中的正样本score大于负样本score,则AUC=8/14,即AUC可以看做随机从正负样本中选取一对正负样本,其中正样本的得分大于负样本的概率。

按score从小到大排序的目的就是找出正样本score小于负样本score的配对数

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
在Python中,可以使用不同的方法来计算AUC(Area Under Curve)。以下是两种常用的方法: 方法一:使用sklearn库中的metrics模块 可以使用sklearn库中的metrics模块来计算AUC。首先,需要导入numpy和sklearn.metrics模块。然后,可以使用metrics.roc_curve函数计算真实标签值和模型预测得分的ROC曲线。最后,使用metrics.auc函数计算ROC曲线下的面积,即AUC值。 以下是一个示例代码: ```python import numpy as np from sklearn import metrics def compute_auc(y_true, y_score): fpr, tpr, _ = metrics.roc_curve(y_true, y_score) auc_value = metrics.auc(fpr, tpr) return auc_value ``` 在这个示例代码中,compute_auc函数接受真实标签值y_true和模型预测得分y_score作为输入,并返回计算得到的AUC值。 方法二:使用sklearn库中的roc_auc_score函数 另一种计算AUC的方法是使用sklearn库中的roc_auc_score函数。首先,需要导入sklearn.metrics模块。然后,可以使用roc_auc_score函数计算AUC值。 以下是一个示例代码: ```python from sklearn.metrics import roc_auc_score def calculate_auc(AUC_out, AUC_labels): row, col = AUC_labels.shape temp = \[\] ROC = 0 for i in range(col): try: ROC = roc_auc_score(AUC_out\[:, i\], AUC_labels\[:, i\], average='micro', sample_weight=None) except ValueError: pass temp.append(ROC) for i in range(col): ROC += float(temp\[i\]) return ROC / (col + 1) ``` 在这个示例代码中,calculate_auc函数接受网络输出AUC_out和监督标签AUC_labels作为输入,并返回计算得到的AUC值。 无论使用哪种方法,都需要确保已经安装了sklearn库。可以使用pip install sklearn命令来安装sklearn库。 #### 引用[.reference_title] - *1* [Python编程:实现AUC计算(含完整代码)](https://blog.csdn.net/ai52learn/article/details/130304627)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *2* [python计算AUC值](https://blog.csdn.net/weixin_45653050/article/details/116768291)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* [【机器学习】AUC计算(Python实现)](https://blog.csdn.net/weixin_31866177/article/details/109157494)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值