VOT2017 结果抢先看

昨天（2017年10月28日）上午，ICCV VOT-Workshop已经在威尼斯成功举办了，发布了2017年的视觉目标跟踪挑战赛（Visual-Object-Tracking Challenge）的结果。今年有38个新的算法参加了比赛，加上组委会自行提交的13个算法，总共对比分析了51个跟踪器在VOT2017数据集上的表现。与VOT2017一起举办的是热红外目标跟踪挑战赛（VOT-TIR2017），比赛仍然采用的是去年的红外图像序列，参赛算法也只有10个，比赛结果没有单独发表论文，而是放在VOT report的最后部分一起说了。

一、新的测试集

VOT2017将VOT2016中的10个least challenging图像序列删除，在保证总体的序列属性分布（attribute distribution）不变的情况下添加了10个新的序列，与此同时，还对所有序列的groundtruth进行了重新标定，标定方法是对跟踪目标进行像素级分割，然后重新拟合矩形框。当新的矩形框与原来的groundtruth出入较大时，则由人工来校正。

今年还首次使用了一个单独的测试集（sequestered dataset），不对外公开，用来决定最终的冠军。该测试集包含从VOT过去用过的数据集中选出来的50个序列，加上10个新的序列，总体属性分布与VOT2017公开测试集一致。

二、评估手段

Accuracy：per-frame overlap

Robustness：per sequence average num of failures【VOT标准评估方法是reset-based，每个跟踪器在每个序列上运行15次】

EAO：expected average overlap，是对每个跟踪器在一个短时图像序列上的no-reset average overlap的期望值，是VOT评价跟踪器跟踪效果的主要指标。

AO：average overlap，VOT除了进行标准的reset-based supervised experiment（baseline）以外，还执行一个模仿OTB的unsupervised experiment——仅用第一帧的groundtruth来初始化跟踪器，然后让它一直跟下去，最后算平均跟踪重叠率。文章认为，AO与OTB所使用的Area-Under-Curve是等效的。

Real-time Experiment：这是今年新引入的一种评估方式，VOT过去用EFO来评价一个跟踪器的执行速度（EFO为跟踪器实际运行时间与测试平台上执行一次规定的滤波运算所需的时间的比值，被认为是与硬件平台无关的一个度量），但是后来发现EFO仍然受到硬件平台性能较大影响，所以今年搞了个实时实验&