最近在打天池的比赛,里面需要用AUC来评测模型的性能,所以这里介绍一下AUC的相关概念,并介绍TensorFlow含有的函数来计算AUC。
先介绍一些前置的概念。在一个二分类问题中,如果本身是正例(positive),预测正确也预测成正例,则称为真正例(true positive),简称TP,而预测错误预测成了反例,则称为假反例(false negative),简称FN,如果本身是反例(negative),预测正确也预测成反例,则称为真反例(true negative),简称TN,而预测错误预测成了正例,则称为假正例(false positive),简称FP。查准率、查全率以及F1值都是根据上述四个值计算出来的,这里不做赘述。
真正例率(True Positive Rate,简称TPR),计算公式为TPR = TP / (TP + FN),和查全率的公式一致,表示预测为正例且本身是正例的样本数占所有本身是正例的样本数的比重。假正例率(False Positive Rate,简称FPR),计算公式为FPR = FP / (TN + FP),表示预测为正例且本身是反例的样本数占所有本身是反例的样本数的比重。
ROC全称是受访者工作特征(Receiver Operating Characteristic)曲线,用来研究一般情况下模型的泛化性能。先根据模型的预测结果将样本进行排序,将最可能是正例,也就是预测出是正例的概率最高的样本排在前面,然后概率依次降低,将最不可能是正例也就是预测时正例概率最低的样本排在最后。然后ROC曲线以真正例率作为纵轴,假正例率作为横轴,按顺序逐个把样本预