A Benchmark and Simulator for UAV Tracking（论文翻译）

最新推荐文章于 2024-11-29 17:48:06 发布

MJ5513

最新推荐文章于 2024-11-29 17:48:06 发布

阅读量1.9k

点赞数 3

分类专栏：目标跟踪论文翻译文章标签：目标跟踪计算机视觉

本文链接：https://blog.csdn.net/MJ17709005513/article/details/120980830

版权

摘要

1.引言

摘要

本文提出了一种用于低空无人机目标跟踪的新的航空视频数据集和基准，以及一个可以与跟踪方法相结合的真实感无人机模拟器。我们的基准对从低空空中拍摄的123个新的、带完整注释的高清视频序列提供了对许多最先进和受欢迎的跟踪器的第一次评估。在比较的跟踪器中，我们确定了哪些在跟踪精度和运行时间方面都最适合无人机跟踪。该模拟器可以在跟踪算法部署到无人机上之前，在实时场景中对其进行评估，以及生成具有自动地面真实注释的合成但照片级的跟踪数据集，以轻松扩展现有的真实世界数据集。基准和模拟器都在我们的网站上向视觉社区公开，以便在无人机目标跟踪领域进行进一步的研究。(https://ivul.kaust.edu.sa/Pages/pub-benchmark-simulator-uav.aspx.).

1.引言

视觉跟踪虽然在这一重要课题上取得了几十年的进展，但仍然是一个具有挑战性的问题。一种广泛采用的视觉跟踪算法评估范例是在OTB50[42]、OTB100[41]、VOT2014、VOT2015、TC128(Temple Color)[26]和ALOV300[39]等已建立的视频基准上测试它们。由于跟踪器的性能是根据这些基准来衡量的，因此重要的是要有一组完整的真实场景和跟踪干扰的分布(例如，快速运动、照明变化、比例变化、遮挡等)。在带注释的数据集中正确表示。该基准在确定该领域未来的研究方向以及如何设计更健壮的算法方面也发挥了关键作用。这些成熟的基准目前缺乏的是一套全面的带注释的航空数据集，这些数据集构成了无人驾驶空中飞行带来的许多挑战。

为无人机(UAV)提供自动计算机视觉功能(如跟踪、目标/活动识别等)正在成为该领域非常重要的研究方向，并随着低成本、商用无人机的日益普及而迅速加速。事实上，空中跟踪已经在计算机视觉中实现了许多新的应用(除了与监视相关的应用)，包括搜索和救援、野生动物监控、人群监控/管理、导航/定位、障碍物/物体回避和极限运动的摄像。空中跟踪可以应用于一组不同的对象(例如，人、动物、汽车、船只等)，其中许多对象不能从地面进行物理或持久的跟踪。特别是，现实世界的空中跟踪场景对跟踪问题提出了新的挑战(见图1)，暴露了进一步研究的领域。本文对从专业级无人机捕获的100多个新的完全注释的高清视频的跟踪器进行了评估。这一基准既是对当前建立空中跟踪部分的基准的补充，也为低空无人机视频中普遍存在的跟踪干扰提供了更全面的采样。
据我们所知，这是第一个解决和分析最先进的跟踪器在一套全面的带注释的航空序列上的性能的基准，这些序列显示了特定的跟踪滋扰。我们预计，随着无人机技术的进步和目标跟踪器的改进，这个数据集及其跟踪器评估将提供一个基准，可以在未来很长一段时间内使用。

无人机上的视觉跟踪是一个非常有前途的应用，因为相机可以根据视觉反馈跟踪目标，并主动改变方向和位置来优化跟踪性能。这标志着与静态跟踪系统相比的决定性区别，它被动地分析一个动态场景。由于目前的基准是预先录制的场景，它们无法提供速度较慢的跟踪器将如何影响无人机在跟踪目标方面的性能的量化衡量标准。在这篇文章中，我们建议使用真实感模拟器来渲染真实世界的环境和在无人驾驶航空记录中常见的各种栩栩如生的运动目标。模拟器使用虚幻引擎4直接将图像帧提供给跟踪器，并检索跟踪结果以更新无人机飞行。任何跟踪器(例如，用Matlab或C编写的)都可以在模拟器上跨各种照片级模拟场景进行测试。使用该模拟器可以使用新的定量方法来评估上述空中反馈环路中的跟踪器性能。

贡献。我们的工作有三方面的贡献。(1)编制了包含超过110K帧的123个航空视频序列的全标注高分辨率数据集。它与最新的通用对象跟踪数据集一样大或更大。(2)我们使用多种指标对许多最先进的跟踪器进行了广泛的评估[42]。通过将基准中的视频标记为各种属性，我们还可以针对特定的空中跟踪干扰(例如，比例/纵横比变化、摄像机运动等)评估每个跟踪器。(3)开发了一个高保真的实时视觉跟踪模拟器，为跟踪器评估提供了一种新的方法。我们给出了在其环境中运行的最先进的跟踪器的性能的第一个结果。模拟器与广泛的空中基准相结合，为现代最先进的跟踪器提供了一个更全面的评估工具箱，并为实验和分析开辟了新的途径。

相关工作

UAV数据集。对相关工作的回顾表明，特定于无人机的注释数据集的可用性仍然有限，其中可以严格评估跟踪器在空中场景中的精度和稳健性。现有的带注释的视频数据集包含很少的空中序列[42]。PET或CAVIAR等监控数据集侧重于静态监控，并且已经过时。VILAID[6]是唯一公开可用的专用航空数据集，但由于其尺寸小(9个序列)、非常相似且分辨率低(仅以飞行器为目标)、稀疏注释(每10帧才有一次)以及聚焦于海拔较高、动态较少的固定翼无人机，它已经过时，并有许多限制。最近创建了几个基准，以解决旧基准的具体缺陷，并引入新的评估方法[24，25，39]，但它们没有引入本文中涉及的许多跟踪滋扰的视频，这些视频在空中场景中很常见。

通用目标跟踪。在我们提出的基准测试中，我们将OAB[11]和IVT[38]等经典跟踪器作为基准，并根据[42]：Strike[13]、CSK[17]、ASLA[19]和TLD[21]对最近表现最好的跟踪器进行评估。在选择过程中，我们拒绝速度非常慢的跟踪器，尽管它们的性能很好[3，4，44-47]。此外，我们还包括一些最新的跟踪器，例如MeEM[43]、Sample[18]、DSST[8](获胜者VOT2014)和SRDCF[7](获胜者VOT-TIR2015和OpenCV挑战赛)。由于目前的基准不能提供超过1到2个从移动空中平台捕获视频的真实场景，目前还不清楚哪些新的跟踪器在某些跟踪挑战被放大的空中场景中表现良好，包括相机的突然运动、比例和纵横比的显著变化、快速移动的对象以及部分和完全遮挡。

UAV定制跟踪。尽管缺乏充分解决空中跟踪的基准ÿ