AUC计算方法与Python实现代码

AUC是ROC曲线下的面积，它是机器学习用于二分类模型的评价指标，AUC反应的是模型对样本的排序能力。它的统计意义是从所有正样本随机抽取一个正样本，从所有负样本随机抽取一个负样本，当前score使得正样本排在负样本前面的概率。

AUC的计算主要以下几种方法：（参考）

1. 计算ROC曲线下的面积。这是比较直接的一种方法，可以近似计算ROC曲线一个个小梯形的面积。几乎不会用这种方法

2. 从AUC统计意义去计算。所有的正负样本对中，正样本排在负样本前面的对数占总样本对数的比例，即这个概率值。

   具体的做法就是它也是首先对prob score从小到大排序，然后令最大prob score对应的sample 的rank为n，第二大score对应sample的rank为n-1，以此类推。

   然后把所有的正类样本的rank相加，再减去M-1种两个正样本组合的情况。

   得到的就是所有的样本中有多少对正类样本的score大于负类样本的score。

   最后再除以M×N。

   公式如下： mathPix

   $$AUC=\frac{{\sum }_{i\in \text{ positiveClass }}{\mathrm{rank}}_i-\frac{M(1+M)}{2}}{M\times N}$$

AUC的Python实现

通过上面方法二的公式，AUC计算的Python实现如下：

def calAUC(prob, labels):
    f = list(zip(prob, labels))
    rank = [values2 for values1, values2 in sorted(f, key=lambda x: x[0])]
    rankList = [i + 1 for i in range(len(rank)) if rank[i] == 1]
    posNum = 0
    negNum = 0
    for i in range(len(labels)):
        if (labels[i] == 1):
            posNum += 1
        else:
            negNum += 1
    auc = 0
    auc = (sum(rankList) - (posNum * (posNum + 1)) / 2) / (posNum * negNum)
    print(auc)
    return auc

其中输入prob是得到的概率值，labels是分类的标签（1，-1）