机器学习推荐系统评价指标之AUC

综述

AUC是机器学习模型中常见评价指标，在推荐系统中也十分常见。和常见的评价指标Acc，P，R相比，AUC具备一定的优势。

AUC的计算过程

一般说起AUC，都会从混淆矩阵，ACC，精确率P，召回率R，然后说到ROC，再到AUC，我在这里简单的梳理一下：

1. 由混淆矩阵引出TP，FP，FN和TN。
2. 接着引出准确率，精确率，召回率和F1值的概念。
3. 接着引出TPR和FPR的概念，TPR代表TP的比率，FPR代表了FP的比例，那么可想而知，TPR越大，FPR越小分类器的效果越好。
4. 接着引出ROC曲线的概念，FPR为横轴，TPR为纵轴，所以曲线越接近左上，分类器效果越好。
5. 接着引出最后的AUC，字面意思是ROC曲线下面的面积，AUC越大，分类器效果越好。

AUC的优势

AUC取值在0-1之间，越接近1代表模型效果越好，1代表完全分对了。
使用AUC作为评价模型指标的优势主要有以下两点:

1. 不必为分类器选择阈值。假如我们在进行二分类时，得到的预测结果是概率值，我们需要为正负类选择阈值（虽然一般来说是0.5），再对结果进行评价，但是当我们使用AUC时，则不必选择阈值。
2. AUC可以作为不均衡数据集的评价指标，其他评价指标在面对不均衡数据集时都有一定的缺陷。

现在可以思考为什么AUC具备这个优势，AUC的真实含义是什么？
水平有限，这里参考了知乎的回答¹，AUC反映了模型对样本的排序能力。

---

1. [AUC相关知乎回答]https://www.zhihu.com/question/39840928 ↩︎