在互联网精准广告中,可以从多个角度来评估一个CTR模型的性能,但通常以AUC作为模型评估的最直接指标,直观上讲,AUC是从排序能力的角度来对模型进行评估。下面将详细解释AUC的含义及其计算方式,
2 ROC含义及其说明
2.1 ROC曲线理解
ROC(Receiver Operating Characteristic)曲线和AUC常被用来评价一个二值分类器的优劣,分类器算法,常用的评价指标主要有precision,recall,F-score;
一个典型的ROC曲线如下图所示:
ROC曲线的横坐标为false positive rate(FPR),纵坐标为true positive rate(TPR),下面详细说明FPR和TPR是如何定义的:
TP:预测是正的样本,实际上也是正的样本
TP:预测是正的样本,实际上是负样本
FN:预测是为负样本,实际上是正样本
TN:预测是为负样本,实际上也是负样本
正确率:测试出来准确的正样本/所有的正样本:TP/(TP + FP)
召回率:测试出来正确的正样本/所有的正样本:TP/(FP + FN)
TPR:true positive rate,TPR = TP / (TP + FN),表示预测为正的正确结果TP在所有正样本T中的占比,显然TPR越大,模型的预估能力更好;