AUC的计算、物理意义，

三七、

已于 2023-07-24 17:10:36 修改

阅读量622

点赞数 1

分类专栏： AI调参侠推荐系统文章标签：机器学习算法概率论

于 2022-07-09 00:36:01 首次发布

本文链接：https://blog.csdn.net/geek_hch/article/details/125687463

版权

AI调参侠同时被 2 个专栏收录

9 篇文章 0 订阅

订阅专栏

推荐系统

2 篇文章 0 订阅

订阅专栏

文章目录

一、定义

ROC曲线与坐标轴围成的面积。ROC曲线由不同阈值下，TPR（Y轴）与FPR（X轴）两个指标绘制而成。

二、性质

体现排序的优劣，AUC的物理意义是从测试集中任选一个正样本，再任选一个负样本，模型对正样本预测分值大于负样本的概率。
理论上不受**、验证/测试**集中正负样本比例的影响。

三、计算

3.1 方法一（根据定义）

按照定义，绘制ROC曲线，计算曲线下面积，计算较复杂。

3.2 方法二（根据意义）

按照AUC性质1，遍历所有的正负样本对，计算其中正样本分数大于负样本分数的样本对的比例。
复杂度为 $O(n^2)$

3.3 方法三（方法二优化）

方法二的优化，先对所有的预测样本按照预测分数从小到大排序，依次遍历所有正样本，计算排在每个正样本之前的负样本数量的和。即：
$C=\frac{\sum_{i \varepsilon \text { positiveClass }} \operatorname{rank} _{i}-\frac{\operatorname P(1+\operatorname P)}{2}}{\operatorname P \times \operatorname N}$
其中， $\operatorname P$ 为正样本数量， $\operatorname N$ 为负样本数量， $rank_i$ 为第 $i$ 个正样本前面有多少个样本， $i$ 从1开始计。
复杂度为排序阶段的 $O(n\log n)$ 。

3.4 方法四（工业场景）

涉及分桶、并行等，将方法三中的排序算法改为可并行的分桶排序即可。此外还可以近似将落到同一个桶中的分数视为相同值，从而进一步提高计算效率，但会损失一定精度。

四、物理意义推导

为什么AUC表示任选一个正样本，再任选一个负样本，正样本预测分数大于负样本的概率?

证明思路为根据AUC定义，使用积分求ROC曲线下面积，对积分进行展开即可。
$\begin{aligned} AUC&=\int_0^1\operatorname{TPR}d_{\operatorname{FPR}}\\ &=\int_0^1\frac{\operatorname{TP}}{\operatorname{P}}d\frac{\operatorname{FP}}{\operatorname N}\\\\ &=\frac{\sum_{i=0}^{\operatorname N-1}\operatorname{TP}_{\operatorname{FP}=i}}{\operatorname P\times \operatorname N}\\ &=\frac{\sum_{i \varepsilon \text { positiveClass }} \operatorname{rank} _{i}-\frac{\operatorname P(1+\operatorname P)}{2}}{\operatorname P \times \operatorname N} \end{aligned}$
式中，第二行的积分，将自变量FPR换元为FP，积分转化为第三行中区间0到N-1之间的离散函数求和。
第三行分母表示所有(正，负)样本对数量，分子为其中正样本预测分数大于负样本预测分数的样本对数量（对所有样本按照预测分数排序后，依次从大到小遍历FP样本对应的分数作为阈值，计算该阈值对应的TP进行求和）。