目标检测模型评估指标全面梳理

目标检测模型评估指标全面梳理

在学习目标检测的过程中，需要对学习器进行评估，这时候就需要许多数学上的参数，有些是对检测结果评估，有些是从原始数据评估…小白梳理了常用的目标检测模型评估指标，并将适时更新。如果有错误，请大佬指正噢~

1 IOU

Define: IoU 的全称为交并比（Intersection over Union），计算的是 “预测的边框” 和 “真实的边框” 的交集和并集的比值。

Use: 预测框Bounding box的准确性评估,根据IOU判定预测框是否正确，大于等于IOU√，小于×。

2 准确率、精确率和召回率

首先用混淆矩阵的图片来简单展示：

2.1 准确率（Accuracy）

define：所有预测正确的（包括正类和负类）占总的的比例。

2.2 精确率（Precision）

define：也叫查准率，即在所有预测为正类中真正为正类的占所有预测为正类的的比例。预测为正类两种情况，一种就是把正类预测为正类(TP)，另一种就是把负类预测为正类(FP)。

use：精确率是针对预测结果而言的，它表示的是预测为正类的样本中有多少是真正的正类样本，也就是看查验的准不准。

2.3 召回率（Recall）

define：也叫查全率，即在所有预测为正类中真正为正类的占总体实际为正类的的比例。实际为正类两种情况，一种是把正类预测为正类(TP)，另一种就是把正类预测为负类(FN)。

use：召回率是针对我们原始样本而言的，它表示的是全体样本中的所有正类样本有多少被预测正确了，也就是看查验的全不全。

对于精确率和召唤率，其实就是分母不同，一个分母是预测为正类的样本数，另一个是原始样本中所有的正类样本数。

3 F1值

define：是精确度和召回率的调和平均值

use：精确度和召回率都高时，作为测试准确度的量度。

4 PR曲线

纵轴为precision横轴为recall

define：一条PR曲线对应一个阈值，通过选择合适的阈值对样本进行划分，大于阈值为正例，小于阈值为负例，分类完成后计算相应的精准率和召回率，绘制PR曲线。

use：

1、多个学习器对数据进行学习后，若其中一个学习器的PR曲线A完全包住另一个学习器B的PR曲线，则性能 A>B。若A和B发生交叉，可以根据曲线下方的面积大小来进行比较，但更常用的是平衡点F1。平衡点（BEP）是P=R时的取值（斜率为1），F1值越大，认为学习器的性能更好。

2、PR曲线的两个轴关注的都是正样本，如果出现正负类别十分不平衡，并且更加关注正类预测结果时，选用PR曲线优于下文要提到的AUC值（对正负类别同样关心）。

5 ROC曲线和AUC值

5.1 ROC曲线：

define：

ROC曲线的纵坐标为TPR，真正率，其实也是召回率。分母为所有实际正样本。
ROC曲线的纵坐标为FPR，假正率，是预测错误的负样本(实际为负样本，预测成正样本，所以分子是FP)在所有实际负样本中的占比。

use：

ROC曲线作为常见的效果评估曲线，优点主要有：
1.TPR关注所有正样本，FPR关注所有负样本，所以比较适合评估分类器的整体性能。
2.TPR与FPR都不依赖于类别的具体分布，不会随类别分布的改变发生变化。

缺点也比较明显：
1.因为ROC曲线不依赖类别的具体分布，所以有时候反倒会成为缺点。假设负样本N增加了很多，但是曲线却没发生变化，相当于系统内产生了大片的FP样本。在一些最关心正样本预测准确性的场景，这样就会有问题。

2.如果有类别不平衡的情况，负例的数目众多致使FPR的增长不明显，导致ROC曲线呈现一个过分乐观的效果估计。

5.2 AUC值：

define：分类器将正样本判断为正例比将负样本判断为正例的概率大的可能性。ROC曲线下面的面积就是AUC值。

use：介于0.1和1之间。Auc作为数值可以直观的评价分类器的好坏，值越大越好。

6 AP和mAP

6.1 AP

define：AP是在0到1之间的所有召回值上平均的精度。PR曲线下面积。

use：可以帮助我们比较不同目标检测器。

6.2 mAP

define：mean Average Precision, 即各类别AP的平均值。

use：简单粗暴地用一个参数对所有类别进行评估，必要时还要看单个类别的AP。