1. test acc:
模型正确预测的样本占总样本的比例。
如果该样本中零值大概是73%的比例,test acc高而auc低说明模型没学到有用的信息,将所有样本都判断为0都有73%的正确率,更何况随机猜测(auc=0.5),因此准确率会稍高于73%
2. AUC:
ROC曲线下的面积,ROC曲线是真阳率(True Positive Rate, TPR)对假阳率(False Positive Rate, FPR)的图表表示。AUC越高,意味着模型对正负样本的区分能力越强(能把正样本找全)。
AUC为0.5通常意味着模型没有区分能力,等同于随机猜测,即模型在各种阈值下,将正样本识别为正的能力,与将负样本错误地识别为正的概率相同,公式就是TN*TP = FN*FP,即正确分类的能力与错误分类的能力相同。 左凸最好
AUC更侧重于模型在所有可能的分类阈值下的综合表现,而不是仅仅关注正样本或负样本。它提供了一个衡量模型区分两个类别的能力的整体指标。
3. auPR:
精确率-召回率曲线下的面积,关注于正样本的预测准确性。 精确率(Precision):TP/(TP+FP)是模型预测为正的样本中实际为正的比例。 召回率(Recall):即TP/(TP+FN),模型正确识别为正的样本占所有实际正样本的比例。右凸最好
auPR更加关注于正样本,它在正样本数量远少于负样本的情况下,能提供更有意义的性能衡量。当正样本非常重要时,auPR可能是一个更好的选择。