分类模型评价指标
评价指标:
准确率 (Accuracy),混淆矩阵 (Confusion Matrix),精确率(Precision)即查准率,召回率(Recall)即查全率,灵敏度(sensitivity),特异度(specificity),TPR,, FPR,PR曲线,平均正确率(AP),mean Average Precision(mAP),交除并(IoU),ROC + AUC,非极大值抑制(NMS),F度量值(F-measure)即F-score,
1. 准确率 (Accuracy)
分对的样本数除以所有的样本数 ,即:准确(分类)率 = 正确预测的正反例数总数 / 所有样本总数。
准确率一般用来评估模型的全局准确程度,不能包含太多信息,无法全面评价一个模型性能。
2. 混淆矩阵 (Confusion Matrix
横轴模型预测的类别统计,纵轴是样本数据的真实标签的类别统计
TP,TN,FP,FN都是从模型预测的结果的角度来说,T即True,指的是预测类别与真实label一致,F即False,模型预测的类别与真实label不一致,请特别谨记这点。
对角线上TP,TN表示模型预测label和数据标签一致的数量,所以对角线之和除以测试集总数就是准确率。对角线上数字越大越好
True Positives: 真的正样本,正样本被模型预测为正样本
True Negatives:真的负样本,负样本被模型预测为负样本
False Positives:假的正样本,负样本被模型错误预测为正样本
False Negatives:假的负样本,正样本被模型错误预测为负样本
**TPR(图中tp rate): 它是所有实际正样本中,正确识别的正样本的比例,它和召回率的表达式没有区别, Recall(召回率)=sensitivity(灵敏性)=TPR=TP/(TP+FN),**真正率,可理解为正确的被判断为正确的
FPR(图中fp rate):它是所有实际负样本中,错误的识别为正样本的比例, FPR=FP/(FP+TN),假真率。
TNR 即specificity(特异性):它是所有实际负样本中,正确识别为负样本的比例,,specificity(特异性)= TN/(FP+TN)=1-FPR
3. 精确率(Precision)(即查准率)与召回率(Recall)即(查全率)
上图的具体我们通过韦恩图来解释更易理解,原有数据样本是整个长方形,左边长方形是正样本,右边是负样本。模型对样本预测后会出现四种结果,即图中四种颜色,圆区域是模型预测的正类,其他区域(即false negatives, true negatives)是模