AUC(Area Under the Curve)和 AP(Average Precision)是两个常用的评估指标,用于衡量二分类模型的性能。它们在处理不平衡数据集时特别有用。
AUC(Area Under the Curve) AUC(曲线下面积)
AUC 是 ROC 曲线(Receiver Operating Characteristic Curve,受试者工作特征曲线)下面积的缩写。ROC 曲线是通过绘制真阳性率(TPR)与假阳性率(FPR)来表示模型性能的曲线。AUC 值的范围是 [0, 1],表示模型的整体性能。
- 真阳性率(TPR):TPR = TP / (TP + FN),表示在所有实际为正类的样本中,被正确分类为正类的比例。
- 假阳性率(FPR):FPR = FP / (FP + TN),表示在所有实际为负类的样本中,被错误分类为正类的比例。
AUC 的含义:
- AUC = 0.5:模型没有分类能力,相当于随机猜测。
- AUC < 0.5:模型的分类性能低于随机猜测,可能模型出现了问题或标签反转。
- AUC = 1.0:模型具有完美的分类能力,可以完美区分正负样本。
用途:AUC 常用于评估二分类