机器学习性能度量指标：AUC

在IJCAI 于2015年举办的竞赛： Repeat Buyers Prediction Competition 中，

很多参赛队伍在最终的Slides展示中都表示使用了  AUC 作为评估指标：

 

 

 

那么，AUC是什么呢？

AUC是一个机器学习性能度量指标，只能用于二分类模型的评价。（拓展二分类模型的其他评价指标：logloss、accuracy、precision）

 

对于二分类问题，可将样例根据其真实类别与学习器预测类别的组合划分为真正例（true positive）、假正例（false positive）、真反例（true negative）、假反例（false negative）四种情形，令 TP、FP、TN、FN分别表示其对应的样例数，则显然有 TP+FP+TN+FN=样例总数。

分类结果的“混淆矩阵”（confusion matrix）如下表所示：

AUC全称：Area under ROC curve

 

AUC的物理意义为任取一对例和负例，正例得分大于负例得分的概率，AUC越大，表明方法效果越好。

 

ROC全称为“受试者工作特征”（Receiver Operating Characteristic ）曲线，源于二战中用于敌机检测的雷达信号分析技术。根据学习器的预测结果对样例进行排序，按此顺序逐个把样本作为正例进行预测，每次计算出两个重要量的值，分别以它们为横、纵坐标作图，就得到了“ROC”曲线，纵轴是“真正例率”（True Positive Rate，TPR），横轴是“假正例率”（False Positive Rate，FPR）：

 

 

 

 

 

IJCAI-15比赛相关：

 

IJCAI-15 Dataset 数据集来自天猫（ 阿里云天池）。

 

论文名称：Identifying Repeat Buyers by Ensemble Learning with Historical Behavioral Features

作者：Shaohua jiang, Yunlei Mu, Qingyu Fan

会议期刊：IJCAI workshop

论文链接： http://socinf2015.isistan.unicen.edu.ar/winners

 

 

【Reference】

1. 周志华.机器学习[M].北京：清华大学出版社，2016.