面试中被问到指标之间的差异,回答的不太好,记录一下。
首先是四个指标的定义,之后再记录他们的差异性。
precision:被预测为正样本中,真实的正例所占的比例。--医学病情诊断,诊断不能出错,可以看这一指标。
recall:真实的正样本中,被预测为正样本所占的比例。--灾害监测(“宁可错杀一百,不可放过一人”)
accuracy:预测正确的比例,包括了正样本被预测正确和负样本被预测正确。
真实正样本 | 真实负样本 | 总和 | |
预测正样本 | 30 | 10 | 40 |
预测负样本 | 20 | 40 | 60 |
总和 | 50 | 50 | 100 |
precision:30/40 = 75%
recall:30/50 = 60%
accuracy:70/100 = 70%
auc:曲线与坐标轴围成的面积,纵坐标是TPR,横坐标是FPR。
TPR等价于recall
FPR:错误的预测中预测为正样本的概率。
FPR=10/50=20%
根据不同的阈值就可以得到完整曲线。
accuracy:在正负样本不平衡的时候,就失去了评估意义。
precision,recall的缺点:会随着阈值的设定改变自身的值,但其实本身分类器的能力是没有变的,对阈值极为敏感。
ROC曲线越靠近左上角表明模型效果越好,此时AUC值越大,极端情况下为1。与F1-score不同的是,AUC值并不需要先设定一个阈值