什么是AUC?
AUC的定义是ROC曲线下的面积,实际意义为模型打分时将正例分数排在反例前面的概率。ROC曲线一般都会处于0.5-1之间,所以auc一般是不会低于0.5的,0.5为随机预测的auc。
什么是ROC曲线?
ROC中文名为:受试者操作特征(receiver operating characteristic curve),源于二战雷达信号分析技术。
ROC曲线绘制:分别计算模型结果的FPR与TPR,然后将TPR作为纵坐标,TPR作为横坐标作图,便可得到ROC曲线,ROC曲线上的每一个点对应一个阈值。。
TPR,FPR是什么?
这一块知识非常绕,很容易混淆。
TPR——真正例率:TP/(TP+FN),指的是模型预测的正确正例占所有正例的比例,等同于召回率,可以理解为正例的灵敏度。TPR越大,则预测的正例中正例占比越高。
FPR——假负例率:FN/(TN+FP),指的是模型预测的错误反例占所有预测反例的比例,等同于反例预测的错误率,也可以理解为模型对负例的特异度。FPR也可以用公式(1 - TNR)来表示。FPR越大,则预测的正例中反例越多。
总结:需要FPR越小,TPR越高,则模型越好,所以通常可用ROC曲线最靠近左上角的点作