单目标跟踪——【数据集基准】RGB数据集OTB / NFS / TrackingNet / LaSOT / GOT-10k / UAV123 / VOT 简介

入手单目标跟踪的三个方面之数据集简介

目前单目标跟踪领域有哪些公认比较好的数据集？ 这可以从一些优秀论文中找，看他们在验证自己的tracker用到哪些数据集。这些数据集的侧重不一，有的会包含快速移动；有的包含出视野；有的会侧重测试tracker的长时记忆，所以熟悉一些常用数据集极其特性很有必要，这些数据集往往也有不同的评价指标。 数据集的评价指标不一，是为了更全面的测评tracker的性能。 以下的数据集从有无训练集划分，因为有无训练集就决定了深度学习的模型的可用性。毕竟深度学习的模型都是需要预训练一个网络模型滴。

数据集们下载链接指路

只有测试集的数据集们

OTB2013

OTB2013 paper

数据集特点：

• 一个包含50个完整注释序列的跟踪数据集，数据集中的每个序列都被标注了属性。

属性有： 光照变化、尺度变化、遮挡、非刚性物体变形、运动模糊、快速运动、平面内旋转、外平面旋转、出视野、背景干扰、低分辨率。

OTB2015

OTB2015 [paper]

数据集特点：

• 一个包含100个完整注释序列的跟踪数据集，数据集中的每个序列都被标注了属性。

属性有： 光照变化、尺度变化、遮挡、非刚性物体变形、运动模糊、快速运动、平面内旋转、外平面旋转、出视野、背景干扰、低分辨率。

这两个数据集别名又称OTB50和OTB100。OTB100里面包含了OTB50的所有序列，所以OTB100被看作OTB50的扩展。

NFS（Need for speed）

NFS [paper]

设计出发点：

• 如果我们真的增加了帧率——从而减少了每帧的外观变化量——我们是否可以使用更简单的跟踪算法(从计算的角度来看)?

数据集特点：

• 一个该数据集由100个视频(380K帧)组成，这些视频由现在普遍使用的更高帧率(240 FPS)的摄像机从真实世界场景中捕获。

属性有： 光照变化、尺度变化、遮挡、非刚性物体变形、快速运动、视点切换、出视野、背景干扰、低分辨率。

训练集+测试集的数据集们

TrackingNet

TrackingNet [paper]

出发点： 我们的工作试图弥补缺乏数据的深度跟踪器和难以获得的大规模数据集之间的差距。我们提出的跟踪数据集比之前的最大数据集大2个数量级。
数据集特点：

• 训练集从Youtube-BoundingBoxes中精心挑选了30132个训练视频；测试集从其中包括来自YouTube的511个具有Creative Commons许可证的视频中构建了一个由511个测试视频组成的新集合。
• 训练集和测试集有相同的对象分布。
• 适合短时跟踪。

属性： 尺度变化、纵横比变化、快速运动、低分辨率、出视野、光照变化、相机运动、运动模糊、背景杂波、相似物体、非刚性形变、平面内旋转、平面外旋转、部分遮挡、完全遮挡。

LaSOT（Large-scale Single Object Tracking）

LaSOT [paper]

出发点： 我们希望为社区提供一个大规模的、高质量的专用基准，用于深度跟踪器的训练和跟踪算法的真正评估。
数据集特点：

• LaSOT由1400个序列组成，总帧数超过3.5M。
• 与现有的数据集不同，LaSOT既提供了视觉边界框注释，也提供了丰富的自然语言规范。
• 因为这个数据集包含的序列够多，所以论文中将LaSOT分解为训练和测试子集。根据80/20原则，从每个类别的20个视频中选择16个进行训练，其余的用于测试。
• LaSOT通常比以前的数据集更具挑战性，所有序列都是长期的（跟踪器能够在较长的一段时间内定位目标，在此期间目标可能会消失并重新进入视野）。

属性： 光照变化、完全遮挡、部分遮挡、非刚性旋转、运动模糊、快速运动、尺度变化、相机运动、旋转、背景杂波、出视野、纵横比变化。

GOT-10k（Large-scale Single Object Tracking）

GOT-10k [paper]

出发点：

• 通过发布大型的高多样性数据库，我们的目标是为开发类无关的、通用的短期跟踪器提供一个统一的训练和评估平台。

数据集特点：

• GOT-10k提供了超过10000个视频片段，超过150万个人工标记的包围盒，实现了深度跟踪器的统一训练和稳定评估。
• GOT-10k利用WordNet语义层次来保证了视频中的类别均衡。
• GOT-10k引入跟踪器评估的一次性（one-shot）协议，训练集和测试集的类别零重合。该协议避免了评估结果偏向于熟悉的对象，促进了跟踪器开发中的泛化。但是由于人的运动状态很复杂，所以训练集和测试集都包含人，但是人的运动状态类别零重合。
• 训练集和测试集的拆分策略： 测试集包含420个视频，84类运动物体和31种运动形式，且每个类别的最多取8个视频序列(仅占测试集大小的1.9%)，以避免大规模的班级主导评价结果。验证集是通过从训练子集中随机抽样180个视频来选择的，在不同的对象类别中以均匀的概率。
• 论文作者建立了一个网站，提供功能齐全的工具包，一个在线评估服务器和一个响应性排行榜，以促进跟踪社区。测试数据的注释是私有的，以避免调优参数。数据库、工具包、评估服务器和排行榜可以在网站上找到。

属性： 遮挡、尺度变化、纵横比变化（考虑进物体的非刚性形变和旋转）、光照变化、低分辨率。

UAV123

UAV123 [paper]

数据集特点：

• 一个包含从低空航空视角捕获的123个完全标注的高清视频数据集和基准。103个稳定视频（ 30 - 96 FPS ）+ 12个无稳定器的序列 + 8个合成序列。
• 论文中提出了一个基于虚幻4引擎的序列模拟器，该模拟器生成合成近似真实照片的跟踪数据集与自动地面真相注释，很容易扩展现有的真实数据集。

属性有： 纵横比变化、背景杂波、相机运动、快速运动、完全遮挡、光照变化、低分辨率、出视野、部分遮挡、相似目标、尺度变化、视角变化。

VOT（Visual Object Tracking）

vot2021[paper]

数据集特点：

• 这是一个每年都举办目标追踪比赛的基准，每次比赛有不同的赛道，vot2021有4个赛道：VOT-ST2021（基于RGB图像的短时跟踪）、VOT-LT2021（基于RGB图像的长时跟踪）、VOT-RT2021（基于RGB图像的短时实时跟踪）、VOT-RGBD2021（基于RGB图和深度图的长期跟踪）。
• 短时跟踪的评估标准：从第一帧起每隔50帧定一个锚点，以锚点为界，由此生成许多个子序列。跟踪器从每个锚点开始运行——在序列的前半部分向前运行，在后半部分向后运行，直到第一帧。性能由两个基本指标评估：准确性（A）和鲁棒性（R）。精度是跟踪失败前帧上的平均IOU（交并比），在所有子序列上取平均值。鲁棒性是成功跟踪的子序列帧的百分比，在所有子序列上取平均值。跟踪失败的定义：被定义为地面真实值和预测目标位置之间的IOU（交并比）降低到0.1以下，并且至少10帧后没有增加到该值以上的帧。【这样定义跟踪失败的意义在于——允许在短期跟踪器中进行短期故障恢复。】主要性能指标是预期平均重叠EAO，这是跟踪精度和鲁棒性的原则组合。
• 长时跟踪的评估标准： 在序列的第一帧初始化跟踪器，并运行它直到序列结束。跟踪器需要报告每个帧中的目标位置，以及反映目标在该位置的确定性的分数。性能由两个基本指标衡量，即跟踪精度（Preision）和跟踪召回率（Recall），而总体性能由跟踪F-measure总结。当F-measure的值最大时确定阈值下跟踪器的跟踪精度（Preision）、跟踪召回率（Recall）、F-measure的值。不同跟踪器的阈值不一样。

追踪结果的总结：

• VOT-ST2021赛道的比赛，提交的追踪器中有57%是基于相关滤波；25%是基于Siamese相关；17%是基于Transformer。
• VOT-ST2021赛道中，4个top的追踪器要么是基于深度判别性的相关滤波器，要么就是基于Transformer。
• 在VOT-RT2020赛道中top追踪器中的5个在VOT-ST2021赛道也在排名前六的追踪器中。说明只要有足够好的GPU，速度不是问题。
• 在VOT-RT2021赛道中top-7的6个都是基于Transformer。
• 与VOT2020短期挑战一样，遮挡仍然是最困难的属性。

数据集的下载地址请参考：常见目标跟踪数据集下载链接整理（更新中）

下一篇接着把这些数据集涉及到的评价指标整理一下~强强你觉得怎么样？