目录
摘要
本文提出了一种用于低空无人机目标跟踪的新的航空视频数据集和基准，以及一个可以与跟踪方法相结合的真实感无人机模拟器。我们的基准对从低空空中拍摄的123个新的、带完整注释的高清视频序列提供了对许多最先进和受欢迎的跟踪器的第一次评估。在比较的跟踪器中，我们确定了哪些在跟踪精度和运行时间方面都最适合无人机跟踪。该模拟器可以在跟踪算法部署到无人机上之前，在实时场景中对其进行评估，以及生成具有自动地面真实注释的合成但照片级的跟踪数据集，以轻松扩展现有的真实世界数据集。基准和模拟器都在我们的网站上向视觉社区公开，以便在无人机目标跟踪领域进行进一步的研究。(https://ivul.kaust.edu.sa/Pages/pub-benchmark-simulator-uav.aspx.).
1.引言
视觉跟踪虽然在这一重要课题上取得了几十年的进展，但仍然是一个具有挑战性的问题。一种广泛采用的视觉跟踪算法评估范例是在OTB50[42]、OTB100[41]、VOT2014、VOT2015、TC128(Temple Color)[26]和ALOV300[39]等已建立的视频基准上测试它们。由于跟踪器的性能是根据这些基准来衡量的，因此重要的是要有一组完整的真实场景和跟踪干扰的分布(例如，快速运动、照明变化、比例变化、遮挡等)。在带注释的数据集中正确表示。该基准在确定该领域未来的研究方向以及如何设计更健壮的算法方面也发挥了关键作用。这些成熟的基准目前缺乏的是一套全面的带注释的航空数据集，这些数据集构成了无人驾驶空中飞行带来的许多挑战。
为无人机(UAV)提供自动计算机视觉功能(如跟踪、目标/活动识别等)正在成为该领域非常重要的研究方向，并随着低成本、商用无人机的日益普及而迅速加速。事实上，空中跟踪已经在计算机视觉中实现了许多新的应用(除了与监视相关的应用)，包括搜索和救援、野生动物监控、人群监控/管理、导航/定位、障碍物/物体回避和极限运动的摄像。空中跟踪可以应用于一组不同的对象(例如，人、动物、汽车、船只等)，其中许多对象不能从地面进行物理或持久的跟踪。特别是，现实世界的空中跟踪场景对跟踪问题提出了新的挑战(见图1)，暴露了进一步研究的领域。本文对从专业级无人机捕获的100多个新的完全注释的高清视频的跟踪器进行了评估。这一基准既是对当前建立空中跟踪部分的基准的补充，也为低空无人机视频中普遍存在的跟踪干扰提供了更全面的采样。
据我们所知，这是第一个解决和分析最先进的跟踪器在一套全面的带注释的航空序列上的性能的基准，这些序列显示了特定的跟踪滋扰。我们预计，随着无人机技术的进步和目标跟踪器的改进，这个数据集及其跟踪器评估将提供一个基准，可以在未来很长一段时间内使用。
无人机上的视觉跟踪是一个非常有前途的应用，因为相机可以根据视觉反馈跟踪目标，并主动改变方向和位置来优化跟踪性能。这标志着与静态跟踪系统相比的决定性区别，它被动地分析一个动态场景。由于目前的基准是预先录制的场景，它们无法提供速度较慢的跟踪器将如何影响无人机在跟踪目标方面的性能的量化衡量标准。在这篇文章中，我们建议使用真实感模拟器来渲染真实世界的环境和在无人驾驶航空记录中常见的各种栩栩如生的运动目标。模拟器使用虚幻引擎4直接将图像帧提供给跟踪器，并检索跟踪结果以更新无人机飞行。任何跟踪器(例如，用Matlab或C编写的)都可以在模拟器上跨各种照片级模拟场景进行测试。使用该模拟器可以使用新的定量方法来评估上述空中反馈环路中的跟踪器性能。
贡献。我们的工作有三方面的贡献。(1)编制了包含超过110K帧的123个航空视频序列的全标注高分辨率数据集。它与最新的通用对象跟踪数据集一样大或更大。(2)我们使用多种指标对许多最先进的跟踪器进行了广泛的评估[42]。通过将基准中的视频标记为各种属性，我们还可以针对特定的空中跟踪干扰(例如，比例/纵横比变化、摄像机运动等)评估每个跟踪器。(3)开发了一个高保真的实时视觉跟踪模拟器，为跟踪器评估提供了一种新的方法。我们给出了在其环境中运行的最先进的跟踪器的性能的第一个结果。模拟器与广泛的空中基准相结合，为现代最先进的跟踪器提供了一个更全面的评估工具箱，并为实验和分析开辟了新的途径。
相关工作
UAV数据集。对相关工作的回顾表明，特定于无人机的注释数据集的可用性仍然有限，其中可以严格评估跟踪器在空中场景中的精度和稳健性。现有的带注释的视频数据集包含很少的空中序列[42]。PET或CAVIAR等监控数据集侧重于静态监控，并且已经过时。VILAID[6]是唯一公开可用的专用航空数据集，但由于其尺寸小(9个序列)、非常相似且分辨率低(仅以飞行器为目标)、稀疏注释(每10帧才有一次)以及聚焦于海拔较高、动态较少的固定翼无人机，它已经过时，并有许多限制。最近创建了几个基准，以解决旧基准的具体缺陷，并引入新的评估方法[24，25，39]，但它们没有引入本文中涉及的许多跟踪滋扰的视频，这些视频在空中场景中很常见。
通用目标跟踪。在我们提出的基准测试中，我们将OAB[11]和IVT[38]等经典跟踪器作为基准，并根据[42]：Strike[13]、CSK[17]、ASLA[19]和TLD[21]对最近表现最好的跟踪器进行评估。在选择过程中，我们拒绝速度非常慢的跟踪器，尽管它们的性能很好[3，4，44-47]。此外，我们还包括一些最新的跟踪器，例如MeEM[43]、Sample[18]、DSST[8](获胜者VOT2014)和SRDCF[7](获胜者VOT-TIR2015和OpenCV挑战赛)。由于目前的基准不能提供超过1到2个从移动空中平台捕获视频的真实场景，目前还不清楚哪些新的跟踪器在某些跟踪挑战被放大的空中场景中表现良好，包括相机的突然运动、比例和纵横比的显著变化、快速移动的对象以及部分和完全遮挡。
UAV定制跟踪。尽管缺乏充分解决空中跟踪的基准，但近年来无人机跟踪算法的开发已经变得非常流行。无人机上使用的大多数目标跟踪方法依赖于特征点检测/跟踪[30，37]或以颜色为中心的目标跟踪[22]。文献[33]中只有几部作品使用了更精确的跟踪器，这些跟踪器通常出现在通用跟踪基准中，如MIL[1，9]、TLD[33]和Strike[27，28]。此外，还有专门为解决特定问题而量身定做的跟踪器和独特的摄像系统，例如宽幅航拍视频[34，36]、热敏和红外视频[10，35]以及RGB-D视频[29]。
UAV仿真。近年来，已经开发了几个无人机模拟器来测试硬件在环(HIL)。然而，重点在于模拟无人机的物理特性，以便培训飞行员或改进/调整飞行控制器的特性(例如JMAVSim[40])。这些模拟器中的视觉渲染通常是原始的，并且依赖于现成的模拟器(例如RealFlight、FlightGear或XPlane)。它们不支持高级着色和后处理技术，在可用资源和纹理方面受到限制，并且不支持mocap或关键帧类型动画来模拟演员或车辆的自然移动。虽然仿真广泛应用于机器学习[2]以及动画和运动规划[12，20]，但是使用合成的视频或仿真来评估跟踪器是一个新的探索领域。在计算机视觉中，合成视频主要用于训练识别系统(例如，行人[14]、3D场景[31]和2D/3D对象[15，32])，其中存在对注释数据的高需求。虚幻引擎4(UE4)最近变得完全开源，它在模拟视觉跟踪方面似乎非常有前途，部分原因是它的高质量渲染引擎和逼真的物理库
2.基准--离线评估
2.1 数据集
统计。从低空无人机捕获的视频本质上不同于OTB50[42]、OTB100[41]、VOT2014、VOT2015、TC128[26]和ALOV300[39]等流行跟踪数据集中的视频。因此，我们提出了一个新的数据集(称为UAV123)，其中包含来自空中的序列，其中的一个子集用于长期空中跟踪(UAV20L)。在图2中，我们强调了OTB100、TC128和UAV123之间的区别。研究结果突出了无人机运动引起的摄像机视点变化的影响。UAV123 中边界框大小和纵横比相对于初始帧的变化要大得多。此外，安装在无人机上的摄像头能够与目标一起移动，导致平均跟踪序列更长。
我们新的UAV123数据集包含123个视频序列和超过110K帧，使其成为仅次于ALOV300的第二大目标跟踪数据集。我们的数据集的统计数据与表1中的现有数据集进行了比较。请注意，OTB50是OTB100和TC128的子集，因此所有三个数据集中包含的唯一帧总数仅为90K左右。数据集VOT2014和VOT2015也都是现有数据集的子集。因此，虽然有许多数据集可供跟踪团体使用，但不同序列的数量比预期的要少，并且特定于从无人机有利位置跟踪的序列非常稀疏。
获得。UAV123数据集可分为3个子集。(I)Set1包含103个使用现成的专业级无人机(DJI S1000)跟随不同物体在5-25米高度拍摄的序列。视频序列是使用安装在完全稳定和可控的万向系统(DJI Zenmuse Z15)上的奥林巴斯M.Zuiko 12 mm F2.0镜头，使用Panasonic GH4以30至96FPS和720P至4K之间的帧速率记录的。所有序列都以720p和30fps的速度提供，并以30fps的直立边界框进行注释。注释是以10FPS手动完成的，然后线性内插到30FPS。(II)Set2包含从安装在紧随其他无人机之后的小型低成本无人机上的机载摄像头(没有图像稳定)捕获的12个序列。由于有限的视频传输带宽，这些序列的质量和分辨率较低，并且包含合理的噪声量。序列的注释方式与Set1中的相同。(III)集合3包含8个由我们提出的无人机模拟器捕获的合成序列。从飞行无人机的角度来看，目标在不同的世界中沿着预定的轨迹移动，这些轨迹是由Unreal4游戏引擎渲染的。30fps的注释是自动的，并且还可以使用完整的对象蒙版/分段。
属性。如图3所示，UAV123包含多种场景(例如。城市景观、道路、建筑物、田野、海滩和港口/码头)、目标(例如汽车、卡车、船只、人员、团体和空中交通工具)以及活动(例如。散步、骑自行车、滑水、开车、游泳和飞行)。这些序列包含常见的视觉跟踪挑战，包括长期的完全和部分遮挡、比例变化、光照变化、视点变化、背景杂波、摄像机运动等。表2显示了UAV123中存在的所有跟踪属性的概述。图1显示了这些属性在整个数据集上的分布，并与非常流行的OTB100数据集进行了比较，以选择一些关键属性。
长时间跟踪。空中监视环境中的目标跟踪通常需要长期跟踪，因为摄像机可以跟踪目标，而不是静态监视场景。在数据集的设计过程中，为了保证数据集的难度，将连续拍摄的长序列分割成多个子序列。对于长期跟踪，我们将这些子序列合并，然后从中挑选出最长的20个序列。表1显示了结果数据集(UAV20L)的统计信息。
2.2 评估算法
我们考虑根据跟踪算法在OTB50[42]中的性能在我们的基准测试中进行比较，并优先选择流行且速度相当快的跟踪器。这些追踪器的代码可以在网上获得，也可以从作者那里获得。除了IVT和ASLA使用产生式模型外，所有选定的跟踪器都包含某种形式的模型更新，并且具有区别性。为了进行公平的评估，我们在同一服务器级工作站(Intel Xenon X5675 3.07 GHz，48 GB RAM)上运行所有具有标准参数的跟踪器。
2.3 评估方法
遵循OTB50[42]的评估策略，使用精度和成功率两个衡量标准对所有跟踪器进行比较。精度是以跟踪器边界框(BB TR)的中心和相应的地面真实边界框(BB GT)之间的距离来测量的。精度绘图显示给定阈值距离内的跟踪器边界框的百分比(以地面真实值的像素为单位)。为了对跟踪器进行排名，我们使用传统的20像素阈值[42]。成功是通过框BB TR和BB GT中的像素的并集的交集来衡量的。成功图显示重叠分数大于给定阈值的跟踪器边界框的百分比。此外，我们使用曲线下面积(AUC)度量对跟踪者进行排名[42]。除了一次通过评估(OPE)，我们还执行了空间稳健性评估(SRE)[42]。对于SRE，初始边界框在空间上平移4个中心平移，4个角平移，缩放80%、90%、110%和120%，如[42]所示。
3.模拟器-在线评估
3.1 设置和限制
基于UE4的模拟器支持实时跟踪器评估，能够模拟空中飞行的物理过程，生成逼真的高保真渲染效果(类似于专业渲染软件，例如3DSMax和Maya)，并自动为离线或实时用例生成精确的地面实况注释(参见图1)。无人机是以DJI S1000为原型的，DJI S1000被用来捕捉基准的大部分内容。精确的3D模型(相同的几何形状/重量和推力矢量)受游戏物理(UE4)和真实世界条件(如风和重力)的影响。每一帧都记录了目标和无人机的地面真实轨迹和方位。用于稳定和视觉伺服(万向节)的PID控制器模仿Pixhawk FC。有关实现的更多详细信息，请参阅模拟器文档。
UE4允许使用各种后处理渲染步骤来创建逼真且具有挑战性的场景图像，以模拟真实世界的无人机数据。虽然这项工作没有实现，但可以启用运动模糊、景深、曝光过多/曝光不足、HDR和更多功能。UE4后处理渲染允许将自定义深度贴图指定给引擎中的任何网格。深度图允许提取通过相机视点看到的被跟踪目标的分段注释。我们模拟了一个人物和一辆四轮驱动车在一条详细的越野赛道上沿着设定的轨迹移动的过程，赛道上有棕榈树、仙人掌、山脉、历史建筑、湖泊和沙丘(见图3)。这是由开发人员社区创建的许多照片级真实感UE4世界中的一个例子，在这些世界中，我们的无人机模拟器可以使用。无人机模拟器可以将任何跟踪器(MATLAB或C)集成到跟踪-导航循环中；在每一帧，都会读取跟踪器的输出边界框，并使用它来校正无人机的位置。
3.2 评估的新方法
我们基于UE4的模拟器为在线性能测量提供了新的可能性(参见图4)。优点包括用于隔离特定跟踪属性的受控环境、快速实验的更高重复性以及用于测试和学习的大型注释数据集的生成。与无人机和目标位置不精确已知(例如误差5-10米)的真实场景不同，它在每个时间步长定量比较无人机的位置、方向和速度，以了解跟踪器对飞行动力学的影响。为了评估，我们开发了几种新的方法来测量跟踪器的性能：(1)动态帧率的影响(跟踪器以计算速率输入帧)，(2)目标和无人机运动之间的轨迹误差，(3)地面真实和跟踪器之间的累积距离，以及(4)在受控环境中的长期跟踪，其中属性影响可以被控制和清楚地测量。
3.3 评价方法论
选择了四个跟踪器进行评估，即SRDCF、MEEM、SAMF和STRED。从目标的自定义深度贴图生成的地面真值边界框称为GT。我们首先利用GT tracker对无人机视觉伺服系统进行了优化（请参阅关于我们的视觉伺服技术的补充材料）。尽管GT绝对精确，但无人机的飞行力学限制了它始终保持目标中心的能力，因为它必须补偿重力、空气阻力和惯性。在使用GT评估无人机的性能后，每个跟踪器在配备相同起始初始化边界框的模拟器中运行多次。目标遵循预定义的路径和速度曲线。无人机跟踪并跟踪目标3.5分钟(约。6000帧，30 FPS)。目标速度变化，但限制在6米/秒，无人机速度限制在12米/秒(类似于真正的无人机)。为了进行评估，我们测量了目标轨迹与无人机之间的距离。
4.实验
4.1 基准评估
整体表现。为了确定不同跟踪器在UAV123数据集的新挑战上的总体性能，我们使用了[42]中提出的评估范式，如第2.3节所述。在一次通过评估(OPE)中，每个跟踪器处理来自所有123个序列的超过110K个帧，每个帧具有各种属性，如表2所示。
就精度和成功率而言，UAV123数据集上表现最好的跟踪器是SRDCF[7]。这主要是因为它的高保真比例适应，这在每一个成功的情节中都是显而易见的。虽然Meem[43]是OTB100上精度最高的跟踪器，但它在我们的数据集中跟不上，主要是因为它没有尺度适应性。SAMF[23]、MUSTER[18]、DSST[8]、STACK[13]和ASLA[19]组被归入第二层接近性能的跟踪器，而其余的跟踪器IVT[38]、TLD[21]、Mosse[5]、CSK[17]、OAB[11]、KCF[16]和DCF[16]的性能一直较低。总体而言，除了米姆之外，在成功方面排名前五位的人都利用了规模适应性。然而，由于它们只是适应比例，而不是宽高比，仍然有很大的改进空间。总的来说，最近开发的基于相关性的跟踪器在OPE中表现非常好，在精度(SRDCF、SAMF、MUSTER、DSST)和成功率(SRDCF、SAMF、MUSTER)方面排名前五。由于这些跟踪器在傅里叶域中处理循环结构，因此计算成本较低，因此对机载无人机跟踪很有吸引力。
与OTB100相比，在更具挑战性的UAV123数据集上，所有跟踪器在OPE中的表现都要差得多，几个跟踪器改变了排名(特别是MEEM到SRDCF，MUSTER到SAMF)。OTB100中排名靠前的跟踪者之间的性能差异微乎其微，这表明这一基准正在接近饱和。为了获得两个数据集的整体性能的全局视图，我们将图5中每个视频的所有跟踪器的成功结果绘制为颜色梯度图，其中红色对应于0，深绿色对应于1。每个视频中表现最好的跟踪器的得分显示在最后一行，每个跟踪器的所有视频的平均值显示在最后一列。在OTB100中，大多数视频都有至少一个性能良好的跟踪器；然而，在UAV123中存在许多序列没有一个追踪器是成功的。例如，所有这些跟踪器在一架无人机跟踪另一架无人机的低分辨率视频上表现不佳，这是一个重要的空中跟踪场景。
速度性能。在图6中，大多数性能最好的跟踪器的帧速率低于10FPS，低至0.9FPS(集合)。请注意，无论帧的实际速度如何，每个跟踪器都会预测每个帧的边界框。当然，当需要实时跟踪时，这是非常不同的(例如，当持续无人机导航需要跟踪器输出时)。如果帧的处理速度不够快，则会丢弃中间帧，从而导致帧之间的目标位移较大，从而使跟踪变得更加困难。因此，如果跟踪器的帧率较低，则其在实时应用中的跟踪性能预计会降低。为了调查速度对性能的影响，我们比较了同一UAV123数据集上的所有跟踪器，但现在时间上下采样到10FPS(参见图6)。ASLA、DSST和SAMF的性能下降幅度在21%-36%之间，SRDCF、STRACK和MUSTER的性能下降幅度在11%-15%之间。在这种情况下，Meem成为性能最好的跟踪器，尽管它的性能下降(7%)仍然很明显。
长期跟踪。为了评估跟踪器在长期跟踪场景中的性能，我们评估了它们在UAV20L上的性能(见第2.1节)。图6中的跟踪结果显示，所有跟踪器在UAV20L上的表现都比在UAV123上差得多，这表明长期跟踪仍然是一个困难的挑战，有很大的改进空间。在长期跟踪的情况下，跟踪器漂移更有可能导致目标完全丢失，特别是在目标的模型更新被遮挡器污染的遮挡情况下。这个数据集上表现最好的是MUSTER，因为它的短期/长期记忆策略可以纠正过去的跟踪错误。
讨论。在整个评估过程中，跟踪器在不同属性之间执行一致；然而，我们发现跟踪器在空中跟踪的常见属性上更加挣扎。最困难的属性似乎是比例变化和纵横比变化，但在较小程度上也是低分辨率、背景杂乱、快速运动和完全遮挡。比例尺变化是航空跟踪数据集中最主要的属性，因此结合了比例尺自适应的跟踪器通常表现最好。仍有很大的改进空间，特别是在我们的数据集中常见的属性，但在当前数据集不是很常见。此外，要将自动跟踪集成到无人机上，跟踪速度必须更高，最终达到30FPS的实时速度。我们还观察到，跟踪器有一个健壮的更新方法，可以帮助纠正过去的错误(Meem，MUSTER)或抑制背景(SRDCF)，比那些没有的表现更好。空间稳健性评价在初始化时衡量对噪声的稳健性，与OPE图一致，跟踪器的排名相似，总体得分较低。有关每个流行属性和空间稳健性的所有跟踪器的详细评估和讨论，请参阅补充材料。
4.2 模拟器评估(定量和定性结果)
整体表现。在整个测试过程中都会遇到一些挑战，如比例、纵横比和视点的显著变化、照明变化和快速运动。尽管有明显的漂移，但所有跟踪者至少在一半的赛程中保持跟踪。此时，车辆急转弯并加速下坡；保守的默认PID设置会限制无人机的响应，并且大多数跟踪器会出现故障(参见图7中的帧3000)。然而，当PID控制器被设置为响应更快时，跟踪结果会有很大的不同。SRDCF在课程一开始就已经失败，因为由于跟踪器引入的延迟，它无法处理对象的快速加速和超调。其他跟踪器欢迎更灵敏的PID设置，并比以前更轻松地跟踪目标。这说明PID控制器和跟踪器是相辅相成的。
速度性能。被测试的追踪器在计算时间上各不相同，Strike和Meem是最快的。速度较慢的跟踪器(SCRDF和SAMF)的边界框有明显的滞后，并且不能始终以目标为中心，特别是在快速加速期间。无人机高度、宽垂直视场和PID设置可以补偿一些延迟，允许无人机将其速度与车辆同步。随着无人机和目标之间高度的增加，跟踪器的精度也会提高。这是一个重要的观察结果。在现实世界的场景中，增加高度可以是无人机的一种策略，以增强试图跟踪快速目标的较慢跟踪器的跟踪性能。
长期跟踪。在某一时刻，所有的跟踪器都会开始漂移，通常会锁定在目标高度显著的特征上。尽管包围盒不准确，但所有跟踪器都成功地跟踪了目标超过一分钟。只有SRDCF可以完成这一过程，但它只跟踪车辆接近终点的一部分。
讨论。从模拟器中的实时跟踪结果可以获得几点见解。尽管有延迟，跟踪器在整个课程的很大一部分时间内仍然锁定在目标上。在更高的海拔，延迟对性能的影响较小，因为无人机有更多的时间对目标移动做出反应。无人机的飞行动力学和控制系统对跟踪器性能有显著影响。几个跟踪器的故障可以由更灵活的无人机来克服。SRDCF的健壮性和无人机补偿延迟的能力使其成为唯一完成整个过程的跟踪器。然而，一项重大成就是，所有经过测试的最先进的跟踪器都能自动移动无人机穿越复杂的路线。在较长的时间内，预测的目标中心和大小漂移主要是由于对比例和纵横比的适应性较差。外观改变和部分遮挡会导致所有跟踪器丢失目标。该基准有助于确定哪些跟踪器最适合空中跟踪，模拟器为无人机上的最佳集成提供了见解。它提供了许多方法来快速测试跟踪器，并清楚地描述了它们在真实场景中的缺点和优势。
5.结论和下一步工作
在这篇文章中，我们提供了大量的经验证据，证明了目前空中跟踪数据集的不足，并从无人机的角度提出了一种新的具有完整注释序列的基准。新的数据集在大小上类似于通用对象跟踪的最大可用数据集，基准评估了14个最先进的跟踪器。大量实验表明，具有特定跟踪属性(即比例变化、纵横比变化和低分辨率)的序列在其他基准测试中往往表示不足，并且在空中跟踪场景中相当常见，这对当前最先进的跟踪器构成了巨大的挑战。这为进一步提高精度和速度奠定了基础。
我们建议的无人机模拟器以及新颖的评估方法使跟踪器在部署前能够在真实场景中进行实时反馈测试。我们将把这个模拟器公之于众，以支持无人机跟踪领域的更多进展，以及其他计算机视觉任务，包括空中运动结构(SfM)、空中定位、动态场景监控等。该模拟器不仅限于无人机，还可以很容易地扩展到模拟自动驾驶车辆，并通过设计用于导航和行人检测的算法来评估其性能。
1844
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
