precision,recall,sensitivity, specificity ,mAP等几种评价指标

1.图像分类准确率Accuracy

假设有测试样本100张图像,其中有90张预测对了类别,则准确率为:
Accuracy = 90/100*100% = 90%

2.Accuracy的缺点

假设测试样本100张,其中正例90张,负例10张,我们预测(瞎猜)所有的样本都是正例,那么可以得到准确率为:90%。(纳尼?瞎猜都能这么高?)可见这么高的准确率是没什么意义的。
总结:样本的不均衡是会影响模型的性能的。

3.什么是precision、recall以及F1指标、ROC曲线

这里引入一张表格,如下所示:
在这里插入图片描述

注:这里可以这样记忆
TP:P表示你预测的Positive,T(True)表示你预测正确,TP表示你把正样本预测为正样本
FP:P表示你预测的Positive,F(False)表示你预测错误,FP表示你把负样本预测为正样本
TN:N表示你预测的Negative,T(True)表示你预测正确,TN表示你把负样本预测为负样本
FN:N表示你预测的Negative,F(False)表示你预测错误,FP表示你把正样本预测为负样本

precision = TP / (TP + FP)
precision表示精确率,针对的是你所预测的正样本中,预测正确的正样本(即把正样本预测为正样本)占的比例。精确率越高,表示找的越准。

recall = TP / (TP + FN)
recall表示召回率, 针对的是所有的正样本中,预测正确的正样本(即把正样本预测为正样本)占的比例。召回率越高,表示找的越全。

sensitivity = TP / (TP + FN)
sensitivity 表示灵敏度,表示对正例的预测能力(越高越好),数值上等于召回率。

specificity = TN / (TN + FP)
specificity 表示特异度,表示对负例的预测能力(越高越好)。

可以看到sensitivity 、specificity 就是归一化混淆矩阵对角线上的值。

F1 = 2 * precision * recall / (precision + recall)
F1指标综合考虑了precision和recall的影响,两者之一太小都会使得F1的值变小。

ROC曲线:
ROC曲线是以fp rate为横坐标,tp rate为纵坐标画的曲线,如下图所示:
注:该图来自博文 https://blog.csdn.net/u013063099/article/details/80964865
在这里插入图片描述
其中:
fp rate = FP / (FP + TN),表示假阳率。指的是你预测为正实际为负的样本占所有负样本的比例。
tp rate = TP / (TP + FN),表示真阳率。指的是你预测为正实际也为正的样本占所有正样本的比例。

AUC (Area Under Curve)
AUC表示的是ROC曲线下的面积。

举个例子ROC曲线的绘制过程说明:(2021.3.6补充)

  • 对于某个类别,我们预测出有20个样本属于该类别,每个样本对应一个confidence(就是预测得到的概率),其中有6个样本是预测正确的。我们按照confidence的大小从大到小进行排序,如下表所示:
    在这里插入图片描述

  • 以第一个样本的confidence作为阈值,大于等于0.9则判断为正样本,可得混淆矩阵为:
    在这里插入图片描述
    计算可得:tpr = TP / (TP + FN) = 1 / (1 + 5) = 0.16667, fpr = FP / (FP + TN) = 0,得到ROC曲线的第一个坐标(0, 0.16667)

  • 以第二个样本的confidence作为阈值,大于等于0.8则判断为正样本,可得混淆矩阵为:
    在这里插入图片描述
    计算可得:tpr = TP / (TP + FN) = 2 / (2 + 4) = 0.33333, fpr = FP / (FP + TN) = 0,得到ROC曲线的第一个坐标(0, 0.33333)

  • 同理可得,ROC曲线的其它坐标,由此可以画出ROC曲线。

程序如下(参考:https://blog.csdn.net/hesongzefairy/article/details/104302499):

from sklearn.metrics import roc_curve,auc
import matplotlib.pyplot as plt

y_label = ([1, 1, 0, 0, 0, 1, 1, 0, 0, 0,\
            1, 0, 0, 0, 0, 1, 0, 0, 0, 0])

y_pre = ([0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1, 0.09,\
          0.08, 0.07, 0.06, 0.056, 0.040, 0.033, 0.03, 0.021, 0.015, 0.01])


fpr, tpr, thersholds = roc_curve(y_label, y_pre)
roc_auc = auc(fpr, tpr)  # 计算AUC值
plt.plot(fpr, tpr, 'k--', label='ROC (area = {0:.2f})'.format(roc_auc))
plt.xlabel('False Positive Rate')
plt.ylabel('True Positive Rate')
plt.title('ROC Curve')
plt.legend(loc="lower right")
plt.show()

在这里插入图片描述

4.mAP的计算

mAP(mean Average Precision),即平均精确率均值。就是预测出每一个类别的精确率,再相加起来除以总的类别数。

举个例子说明:

  • 以上面表格中的数据为例,我们按照confidence的大小对齐进行排序.

  • 因为一共有6个样本的真实标签为1,因此我们可以得到6个recall的值,分别为1/6,2/6,3/6,4/6,5/6,6/6,其中每个recall的值可以对应多个precision值。

  • 计算出每个recall对应的最大precision,分别为1/1,2/2,3/6,4/7,5/11,6/16,将它们相加并求平均,则可以得到该类别的AP。如下表所示。
    在这里插入图片描述

  • 求出每个类别的AP,再相加求平均,即可得到最后的mAP。

  • 程序验证:

from sklearn.metrics import average_precision_score

y_label = ([1, 1, 0, 0, 0, 1, 1, 0, 0, 0,\
            1, 0, 0, 0, 0, 1, 0, 0, 0, 0])

y_pre = ([0.9, 0.8, 0.7, 0.6, 0.5, 0.4, 0.3, 0.2, 0.1, 0.09,\
          0.08, 0.07, 0.06, 0.056, 0.040, 0.033, 0.03, 0.021, 0.015, 0.01])

ap = average_precision_score(y_label, y_pre)
print(ap)  # 0.6501623376623377

      

验证结果正确。

5. 总结

  1. 总结求mAP的过程:
    对于某个类别,将预测为正样本(TP + FN)的概率从大到小排序统计,找出每个recall对应下的最大precision,对所有precision求平均,得到该类别的AP值,对所有类别的AP值求平均,即得mAP。

结束。

  • 11
    点赞
  • 50
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值