一、混淆矩阵
混淆矩阵(Confusion matrix):
Actual class | |||
Positive | Negative | ||
Predicted class | Positive | Positive True Positive (TP) | False Positive (FP) |
Negative | False Negative (FN) | True Negative (TN) |
True Positive (TP):将正样本预测为正(真正)
True Negative (TN):将负样本预测为负(真负)
False Positive (FP):将负样本预测为正(假正)→ 误报 (Type I error)
False Negative (FN):将正样本预测为负(假负)→ 漏报 (Type II error)
TP+TN:所有预测正确的样本
TP+FP:所有预测为正的样本
TP+FN:所有实际为正的样本(所有正样本,即Ground Truth,GT)
TP+TN+FP+FN:所有样本
二、Accuracy、Precision、Recall、F-measure、mAP
1.准确率(Accuracy):预测正确的样本占总样本的百分比
虽然准确率可以判断总的正确率,但是在正负样本不平衡的情况下,准确率这个评价指标有很大的缺陷。比如在总样本中,正样本占90%,负样本占10%。对于这种情况,只需要将全部样本预测为正样本即可得到90%的高准确率。
2.精确率(Precision),又称为查准率:被正确预测的正样本占所有检出(预测为正)样本的百分比例,是针对预测结果而言的
3.召回率(Recall),又称为查全率:被正确预测的正样本占所有正样本(Ground Truth)的比例,是针对原样本而言的
注:Precision和Recall是矛盾的
4.漏检率、漏警率(Missing Alarm)
5.虚警率(False Alarm):被预测为正的负样本占所有负样本的比例
6.F值(F-measure):precision和recall的加权调和平均
当β=1时,称为F1-Score
7.平均精度(Average Precision, AP):精确率-召回率曲线(Precision-Recall Curve)下的面积:
备注:每一个类别在所有测试图像上的平均值。
计算方法:https://www.zhihu.com/question/53405779/answer/782079941
代码:https://github.com/facebookresearch/Detectron/blob/master/detectron/datasets/voc_eval.py
8.mAP:对每个class的AP求平均
备注:在所有测试图像上对每一个类别的AP进行求和平均。
三、Sensitivity、Specificity、TPR、FPR、ROC、AUC
1.灵敏度(Sensitivity)等于召回率(Recall)
2.特异度(Specificity)
备注:相当于对Negative样本的一个Recall的定义。
3.真正率(TPR)
4.假正率(FPR)