目标检测/视频跟踪数据集指标分析——OTB与VOT

一、OTB （Online Object Tracking Benckmark）

  OTB 主要使用两类评价指标，一类是平均像素误差 Average Pixel Error（APE），二类是平均重叠率 Average Overlap Rate（AOR）

1、精确度指标

1.1、ARE （Average Pixel Error）

  计算每一帧 groundtruth 的中心点与算法输出 bounding box 的中心点的欧氏距离作为每一帧的中心点误差，之后对所有帧的中心点误差取平均值得到 ARE。 该值越大说明误差越大。

1.2、AOR (average overlap rate)

计算每一帧 groundtruth 和算法输出 bounding box 的IoU,然后对所有帧取平均值作为AOR。示例如图1.1.2.1所示，设 A 为算法预测的 bounding box , B 为真实的 groundtruth ，则公式为：

                        IoU = $\frac{A\cap B}{A\cup B}$

           
              图1.1.2.1

2、鲁棒性指标

2.1、TRE (Temporal Robustness Evaluation)

 评价时间鲁棒性 , 第一次，将第一帧作为初始帧，送入跟踪算法直至视频结束，计算精准度指标。之后将第十帧作为初始帧，送入跟踪算法直至视频结束，计算精准度指标。之后，第二十帧作为初始帧，第三十帧作为初始帧…。所有的跟踪完成后，计算所有精准度的平均值，得到 TRE。

2.2、SRE (Spatial Robustness Evaluation）

 评价空间鲁棒 , 将 初始帧的 groundtruth 做变化，向多个方向（8个方向）平移物体的10%，或者是按中心点缩小或扩大到物体的80%，90%，110%，120%。这样会计算得到12个视频跟踪精准度指标结果，计算所有的平均值，得到SRE。

3、可视化曲线

3.1、Precision Plot

 算法输出bounding box的中心点与groundtruth的中心点小于规定阈值的帧数占总帧数的百分比，当规定阈值从0到某个最大距离时，画出的曲线为Precision Plot。如图1.3.1.1所示，其特点就是曲线会随着规定阈值的增大不断上升。
                                                                       

              图1.3.1.1

3.2、Success Plot

 算法输出bounding box与groundtruth的IoU大于规定阈值的帧数占总帧数的百分比，当规定阈值从0到1时，画出的曲线为Success Plot。如图1.3.2.1所示，其特点就是曲线会随着规定阈值的增大不断下降。

                                                                       
              图1.3.2.1

二、VOT

1、精确度指标

1.1、Center Error

 与OTB的ARE相同，缺点是无法评估框的尺度。

1.2、Region Overlap

 与OTB的AOR相同。

1.3、Accuracy

 首先，跟踪算法会对一个视频循环跟踪多次，计算所有帧IoU的平均值，如果跟踪算法在某些帧上未生成 bounding box，则这些帧不会记录在内。求多次跟踪所有帧的IoU平均值，得到 Accuracy。所以， Accuracy越大，精准度越高。

1.4、EAO

 全称Expected Average Overlap。与Accuracy多次运行跟踪算法不同，这里EAO只会运行一次

2、鲁棒性指标

2.1、Tracking Length

 在跟踪的过程中，当Center Error下降到一个阈值时结束，所跟踪的帧数。

2.2、Robustness

 同样的，跟踪算法会在视频上跟踪多次，记录跟踪失败的次数，即 bounding box 与 grountruth 的IoU 为0时，之后会在5帧之后，重新对跟踪算法进行初始化。Robustness 就等于总的失败次数与所有帧数的比值。所以Robustness越大，鲁棒性就越差。

3、速度指标

3.1、EFO（Equivalent Filter Operations）

 为了减小不同网络的编程语言和硬件配置对跟踪速度的影响，事先在600×600的图像上进行30×30的滤波运算，这个时间定义为一个单位，然后运行跟踪算法，用这个单位来表示，得到EFO。

4、可视化曲线

4.1、AR Plot

 AR就是Accuracy、Robustness 的合称。AR Plot的横坐标是鲁棒性指标，纵坐标是Accuracy。在求出跟踪算法的Accuracy、Robustness后，计算：
  
                        R_S = e ^{−S×Robustness}

这样就是横坐标的值。其中，S是人为给定的值，在每个曲线都会标注，如图2.4.1.1所示。

              图2.4.1.1

三、万能指标

1、精准度指标

1.1、AUC

 bounding box 与 groundtruth 之间计算 IoU，当大于某个阈值时，认定跟踪成功。如果阈值从0到1不断变化，就能画出每个阈值下跟踪成功率，计算曲线的与x，y轴的面积，得到AUC。

2、速度指标

2.1、FPS

 每秒跟踪算法能够跟踪多少帧。