指标物理意义
假设分类器的输出是样本属于正类的socre(置信度),则AUC的物理意义为,任取一对(正、负)样本,正样本的score大于负样本的score的概率。
计算方式
- 第一种方法取每一个分数作为阈值,划分0和1,然后求得真阳率(TP/(TP+FN))和假阳率(FP/(FP+TN)),然后绘制ROC曲线(真阳率为纵轴,假阳率为横轴),求得ROC曲线的面积就是AUC值。
- 第二种方法:根据AUC的物理意义,我们计算正样本score大于负样本的score的概率。取N*M(N为正样本数,M为负样本数)个二元组,比较score,最后得到AUC。时间复杂度为O(N*M)。
- 第三种方法:与第二种方法相似,直接计算正样本score大于负样本的score的概率。我们首先把所有样本按照score排序,依次用rank表示他们,如最大score的样本,rank=n(n=N+M),其次为n-1。那么对于正样本中rank最大的样本(rank_max),有M-1个其他正样本比他score小,那么就有(rank_max-1)-(M-1)个负样本比他score小。其次为(rank_second-1)-(M-2)。时间复杂度为O(N+M)。最后我们得到正样本大于负样本的概率为: