目标检测算法之评价标准AP,mAP

TP、TN、FP、FN概念

首先有关TP、TN、FP、FN的概念。大体来看，TP与TN都是分对了情况，TP是正类，TN是负类。则推断出，FP是把错的分成了对的，而FN则是把对的分成了错的。（我的记忆方法：首先看第一个字母是T则代表分类正确，反之分类错误；然后看P，在T中则是正类，若在F中则实际为负类分成了正的。）

一个经典例子是存在一个测试集合，测试集合只有大雁和飞机两种图片组成，假设你的分类系统最终的目的是：能取出测试集中所有飞机的图片，而不是大雁的图片。然后就可以定义：

• True positives: 简称为TP，被正确识别为正样本的数量，飞机被正确的识别成了飞机。
• True negatives: 简称为TN，被正确识别为负样本的数量，大雁被正确地识别它们是大雁。
• False Positives: 简称为FP，被错误识别为正样本的数量，大雁被错误地识别成了飞机。
• False negatives: 简称为FN，被错误识别为负样本的数量，飞机被错误地认为它们是大雁。

1.准确率（Accuracy）。顾名思义，就是所有的预测正确（正类负类）的占总的比重。检测时分对的样本数除以所有的样本数（TP+TN+FP+FN）。准确率一般被用来评估检测模型的全局准确程度，包含的信息有限，不能完全评价一个模型性能。

2.精确率(Precision)和召回率(Recall)和PR曲线

精确率（查准率）就是在识别为正样本的图片中，正确识别的样本True positives所占的比率。也就是本假设中，所有被识别出来的飞机中，真正的飞机所占的比例，公式如下：

，其中N代表识别为正样本的数（TP+FP）。

召回率（查全率）是测试集中所有正样本样例中，被正确识别为正样本的比例。也就是本假设中，被正确识别出来的飞机个数与测试集中所有真实飞机的个数的比值，公式如下：

精确率（查准率）和召回率（查全率）是一对矛盾的度量，一般来说，查准率高时，查全率往往偏低，查全率高时，查准率往往偏低，例如，若希望将好瓜尽可能多选出来，则可通过增加选瓜的数量来实现，如果希望将所有的西瓜都选上，那么所有的好瓜必然都被选上了，但这样查准率就会较低；若希望选出的瓜中好瓜比例尽可能高，则可只挑选最有把握的瓜，但这样就难免会漏掉不少好瓜，使得查全率较低。通过阀值的选择可以调整模型的查准率和查全率。阀值从０到１变化，以查准率为y轴，以查全率为x轴，对应查准率和查全率可以画出下面的P-R曲线。

如果一个学习器的P-R曲线被另一个学习器的P-R曲线完全包住，则可断言后者的性能优于前者，例如上面的A和B优于学习器C，但是A和B的性能无法直接判断，但我们往往仍希望把学习器A和学习器B进行一个比较，我们可以根据曲线下方的面积大小来进行比较，但更常用的是平衡点或者是F1值。平衡点（BEP）是查准率=查全率时的取值，如果这个值较大，则说明学习器的性能较好。而F1 = 2 * P * R ／( P + R )，同样，F1值越大，我们可以认为该学习器的性能较好。

３.平均精度(Average-Precision，AP)和mAP

AP就是Precision-recall 曲线下面的面积，通常来说一个越好的分类器，AP值越高。 mAP是多个类别AP的平均值。这个mean的意思是对每个类的AP再求平均，得到的就是mAP的值，mAP的大小一定在[0,1]区间，越大越好。该指标是目标检测算法中最重要的一个

４.ROC曲线
有了前面的PR的铺垫，ROC曲线就会更好理解了。
在ROC曲线中，横轴是假正例率（FPR），纵轴是真正例率（TPR），通过改变阀值计算ＦＰＲ与ＴＰＲ的值绘制曲线。
(1)真正类率(True Postive Rate)TPR: TP/(TP+FN),代表分类器正确预测的正实例占所有正实例的比例。
(2)假正类率(False Postive Rate)FPR: FP/(FP+TN)，代表分类器错误预测的正类（实际为负实例）占所有负实例的比例。