目标跟踪与目标识别的评价指标

qiuchangyong

已于 2022-03-27 00:16:43 修改

阅读量2k

点赞数 1

文章标签：跟踪与识别的评价标准

于 2022-03-27 00:06:13 首次发布

原文链接：http://imgtec.eetrend.com/blog/2019/100043371.html

版权

OTB的标准：

平均像素误差APE（Average Pixel Error），平均像素误差就是根据预测目标中心位置与真实位置的像素距离作为误差值，最终结果取平均。

平均重叠率AOR（Average Overlap Rate），每帧的预测的区域与真实区域的交并比，最后取平均。

VOT的标准：

EAO（Expect Average Overlap rate）：使用平均重叠率衡量精度

鲁棒性：使用跟踪算法跟丢目标的次数来衡量

EFO（Equivalent Filter Operations）：衡量速度，与硬件性能无关

FPPW（False Positive Per Window），基本含义是：给定一定数目N的负样本图像，分类器将负样本判定为“正”的次数FP，其比率FP/N即为FPPW。

FPPI（False Positive Per Image）

基本含义：给定一定数目N的样本集，内含N张图像，每张图像内包含或不包含检测目标。

每张图像均需要标定：

1.包含目标的个数；

2. 目标的准确位置L。

而后在每张图像上运行分类器，检测目标并得到位置p。然后，检查每张图像内的检测结果是否“击中”标定的目标：

a. 若图像内无目标，而分类器给出了n个“目标”检测结果，那么False Positive 次数 +n；

b. 若图像内有目标，则判断p是否击中L，判断标准参看文章"Pedestrian detection: A benchmark"（主要看p与L的重叠率）。若判断未击中，则False Positive 次数 +1。

最后 FPPI = （False Positive 次数）/N。(即平均每张图中能正确检索到的数目)

FPPI 相比于FPPW来说，更接近于分类器的实际应用情况。

目标识别的标准：

ROC（Receiver Operating Characteristic），横坐标为FPR，纵坐标为TPR

AUC（Area Under roc Curve），ROC曲线下的面积

DET（Detection Error Tradeoff），DET曲线是对二元分类系统误码率的曲线图，绘制出错误拒绝率FRR（False Reject Rate）与错误接受率（False Accept Rate）之间随着判断阈值的变化而变化的曲线图。现在DET曲线扩展到用于模式识别分类器性能的评价的一个指标之一。

在上式中，表示正样本总数，表示正样本被拒绝即判定为负样本的数目，表示负样本总数，表示被错误接受的样本数，也就是本身是负样本被判定为正样本的样本数目。由此可以看出，FRR与FAR均受到判定阈值的影响，并且当FAR逐渐增大的时候，也就是当错误接受率逐渐靠近1时，FRR错误拒绝率逐渐减小；当FRR逐渐增大时，FAR必然是逐渐减小的。

当在不同的判定阈值时，画出FRR与FAR的关系，也就是DET曲线。

DET曲线表现的是「漏查」和「误查」两种错误的权衡。曲线的纵坐标是正类的漏查率，即 $1-R_{+}$ ；横坐标是负类的误查率，即 $1-R_{-}$ 。仅从这里来看，DET 曲线似乎只是把 ROC 曲线上下翻转了一下。不过 DET 曲线的精髓，在于它的两个坐标轴不是线性的，而是使用标准高斯分布累积密度函数 $\Phi$ 的反函数 $\Phi ^{-1}$ 进行了非线性伸缩。那么，横轴就表示 50% 的漏查率，而 20%、10%、5% 的漏查率则画在横轴往下 0.84、1.28、1.64 个单位长度的地方；同样地，纵轴表示 50% 的误查率，而 20%、10%、5% 的误查率则画在纵轴往左 0.84、1.28、1.64 个单位长度的地方。DET 曲线的坐标系如图 4.1 所示。由于漏查率和误查率一般都低于 50%，所以 DET 曲线往往只画出第三象限的部分。二分类器越好，DET 曲线越靠近左下角。