分类模型评价指标-ROC AUC

1.非均衡分类问题

不同类别的分类代价不相等。

重点：分清楚那个是positive（yes） negative（no）

例如还贷预测模型。垃圾邮件识别中，我们希望识别出所有信用坏的用户以及重要邮件（Negative)，所以希望选精确率高的模型。

例如识别吸毒模型，肿瘤识别模型中，我们希望不漏判吸毒者以及阳性肿瘤患者（positive），所以选召回率高的模型。

2.ROC曲线

复习混淆矩阵

横坐标 FPR（false positive rate）

FPR越小越好

纵坐标 TPR (true positive rate)

TPR 越大越好

（0，1）FPR=0, TPR=1，全部判对
（1，1）FPR=1, TPR=1，全部样本判为positive
（1，0）FPR=1, TPR=0，全部错判
（0，0）FPR=0, TPR=0，全部样本判为negative

所以曲线越靠近左上方，模型性能越好。45度直线是benchmark 基准模型：50%的正确率。

ROC 曲线上的每一个点代表模型判断正负类的每一个阙值。

从0%-100%之间选取任意细度的阈值分别获得FPR和TPR，对应在图中，得到的ROC曲线，阈值的细度控制了曲线的阶梯程度或平滑程度。

一个没有过拟合的二分类器的ROC应该是梯度均匀的。

3.AUC

AUC 是 ROC下面的面积，一条ROC对应一个AUC 值 ，取值在[0,1]之间

AUC = 1，代表ROC曲线在纵轴上，预测完全准确。不管Threshold选什么，预测都是100%正确的。
0.5 < AUC < 1，代表ROC曲线在45度线上方，预测优于50/50的猜测。需要选择合适的阈值后，产出模型。
AUC = 0.5，代表ROC曲线在45度线上，预测等于50/50的猜测。
0 < AUC < 0.5，代表ROC曲线在45度线下方，预测不如50/50的猜测。
AUC = 0，代表ROC曲线在横轴上，预测完全不准确。

参考：https://blog.csdn.net/Orange_Spotty_Cat/article/details/80499031

4.Lift

Lift: [TP/(TP+FP)]/[(TP+FN)/(TP+FP+FN+TN)],预测正例的比例比上实际正例的比例

随机模型的正例比例作为分母，该模型的预测正例比例作为分子