机器学习模型效果之Roc、Auc

ROC曲线。
其定义是：接收者操作特性曲线(receiver operating characteristic curve),它通过将连续变量设定出多个不同的临界值，从而计算出一系列真正率和假正率，再以假正率为纵坐标、真正率为横坐标绘制成曲线，曲线下面积越大，诊断准确性越高。在ROC曲线上，最靠近坐标图左上方的点为假正率和真正率均较高的临界值。
ROC关注两个指标
True Positive Rate ( TPR ) = TP / [ TP + FN] ，TPR代表能将正例分对的概率
False Positive Rate( FPR ) = FP / [ FP + TN] ，FPR代表将负例错分为正例的概率
上面的话不太好看懂，需要了解的事情就是——ROC曲线下面的面积（积分）就是AUC的值。
为啥要用AUC呢？传统比较常用的ACC（准确度）为啥不用呢？ 在互联网广告里面，点击的数量是很少的，一般千分之几，如果用acc，全部预测成负类（不点击）acc也有99%以上，根本无法评价。 其实最好的评估办法是ABtest，但是ABtest是直接小流量上线，工作量大，再说线上系统又不能没事老折腾，所以一个model要ABtest的话，这个model务必要是评价过是有好效果的。