ADTrack: Target-Aware Dual Filter Learning for Real-Time Anti-Dark UAV Tracking

摘要

基于先验相关滤波（CF）的无人机（UAV）跟踪方法主要集中在白天的跟踪上。然而，当夜幕降临时，跟踪器会遇到更加严酷的场景，这很容易导致跟踪失败。为此，本文提出了一种具有抗暗功能的新型跟踪器（ADTrack）。该方法将一种高效的微光图像增强器集成到基于CF的跟踪器中。此外，利用图像光照变化同时生成目标感知掩模。该目标感知掩模可用于联合训练聚焦于目标的滤波器，该聚焦滤波器协助上下文滤波器进行鲁棒跟踪。具体来说，ADTrack采用双重回归，其中上下文过滤器和目标聚焦过滤器相互制约，进行双重过滤器学习。在典型暗景基准上进行了详尽的实验，包括来自权威基准的37个典型夜景序列，即UAVDark和我们新构建的基准UAVDark70。结果表明，ADTrack的跟踪性能优于其它先进的跟踪器，在单CPU上实现了34帧/s的实时速度，极大地扩展了无人机对夜景的鲁棒跟踪。

Introduction

视觉目标跟踪广泛应用于机器人和自动化领域，其目的是预测目标的位置和大小。特别是，在无人机（UAV）上应用跟踪方法促进了基于无人机的广泛应用，例如，防撞[1]、自主空中操纵操作[2]和自主输电线路检查[3]。

目前，适用于部署视觉跟踪器的场景仅限于白天，此时光照条件良好，且目标易于识别，具有典型的几何和辐射特性。随着夜幕降临，摄像机无法获取足够的信息来完成图像的细节，给跟踪器带来了巨大的挑战，也给无人机的通用性和可用性带来了巨大的限制。

与一般的跟踪场景相比，无人机在黑暗环境中的视觉跟踪面临着以下更为严峻的条件：a）目标在黑暗环境中容易融合，使其外部轮廓不清晰；b） 物体的颜色特征通常是无效的，最终导致其内部特征不显著；c） 随机噪声经常出现在夜间拍摄的图像上，严重干扰了跟踪器；d） 无人机有限的计算和存储资源为实时跟踪设置了障碍。由于上述具有挑战性的跟踪条件，目前最先进的（SOTA）方法[4]-[9]无法达到无人机在黑暗中跟踪的要求。
以往的工作很少涉及黑暗环境下的鲁棒跟踪，这对于拓宽无人机的应用范围和使用寿命至关重要。一种直接的策略是将SOTA微光增强方法[10]–[12]与跟踪器[4]、[6]、[8]相结合，即对增强图像进行跟踪。即使是有效的，这种简单的方式也有明显的缺点：a）大多数SOTA微光增强方法耗时，从而给整个算法增加了沉重的负担；b） 仅仅利用预处理图像进行跟踪并不能充分挖掘增强子的潜力；c） 增强图像通常有额外的噪声，干扰跟踪器。

与一般的跟踪场景相比，无人机在黑暗环境中的视觉跟踪面临着以下更为严峻的条件：a）目标在黑暗环境中容易融合，使其外部轮廓不清晰；b） 物体的颜色特征通常是无效的，最终导致其内部特征不显著；c） 随机噪声经常出现在夜间拍摄的图像上，严重干扰了跟踪器；d） 无人机有限的计算和存储资源为实时跟踪设置了障碍。由于上述具有挑战性的跟踪条件，目前最先进的（SOTA）方法[4]-[9]无法达到无人机在黑暗中跟踪的要求。
以往的工作很少涉及黑暗环境下的鲁棒跟踪，这对于拓宽无人机的应用范围和使用寿命至关重要。一种直接的策略是将SOTA微光增强方法[10]–[12]与跟踪器[4]、[6]、[8]相结合，即对增强图像进行跟踪。即使是有效的，这种简单的方式也有明显的缺点：a）大多数SOTA微光增强方法耗时，从而给整个算法增加了沉重的负担；b） 仅仅利用预处理图像进行跟踪并不能充分挖掘增强子的潜力；c） 增强图像通常有额外的噪声，干扰跟踪器。

为此，本文提出了一种具有抗暗功能的新型跟踪器（ADTrack），实现了无人机在夜间的实时跟踪和鲁棒跟踪。具体来说，ADTrack将高速微光图像增强算法嵌入到一个有效的基于CF的跟踪器框架中。令人兴奋的是，可以探索图像增强算法，进一步根据图像的光照信息生成目标感知掩模。ADTrack提出了一种双重回归算法，在训练过程中，上下文过滤器和目标聚焦过滤器相互制约，而在检测阶段，双重过滤器相互补充，实现更精确的定位。此外，该掩模还很好地滤除了增强器带来的噪声。因此，所提出的ADTrack在保证实时跟踪速度的前提下，能够在夜间保持良好的跟踪性能。图1显示了基于CF的基线跟踪器[8]和我们提出的ADTrack在黑暗场景中的性能比较。
此外，据我们所知，目前还不存在暗跟踪基准。因此，这项工作提出了一个开创性的无人机暗跟踪基准（UAVDark70），包括70个视频与各种对象。所有高清视频都是商业无人机在夜间拍摄的。这项工作的贡献1可以概括为：
•本文提出了一种新的抗暗跟踪器，它将图像增强方法的第一阶段结合到CF结构中，用于夜间无人机的实时跟踪。
•这项工作利用图像照明方差信息获得创新和有效的掩模，使双回归双滤波器学习和滤除噪声，使基于CF的跟踪器达到一个新的水平。
•在新构建的UAVDark70和UAVDark上进行了大量实验，以证明ADTrack在黑暗中的鲁棒性和效率。

Related Work

A.微光增强方法
微光图像增强算法一般可分为两类。第一种类型，如[10]，[11]，旨在离线训练一个具有大量数据对的深层神经网络。这些方法的计算量太大，无法集成到无人机实时跟踪器中。另一种是基于retinex理论[13]，没有部署大规模的离线训练[12]，[14]，它探索从整个图像中分离出来的光照和反射率来进行自适应操作。实验证明，文[14]中提出的全局自适应输出在弱光增强方面是有效的，适合于无人机跟踪算法的集成。此外，在本文中，还可以进一步部署全局自适应输出来生成目标感知掩码，以提高鲁棒性。

B.基于CF的跟踪方法
在各种跟踪方法中，基于CF的跟踪器[15]-[17]的流行主要依赖于：a）其在Fourier域的快速元素级积，b）在线训练的滤波器，其在对象外观发生突变时具有良好的自适应性。基于CF的跟踪器由于具有很高的鲁棒性、适应性和跟踪效率，近年来在视觉跟踪领域得到了蓬勃的发展[8]、[15]-[19]。此外，基于CF的跟踪器由于其效率[4]、[20]–[23]，在单CPU平台上的实时处理速度至关重要，因此被证明是无人机跟踪的有希望的选择。

具体来说，D。SBolme等人[15]提出了一种研讨会MOSSE方法作为最早的基于CF的跟踪器。JFHen-riques等人[16]引入了核函数和Tikhonov正则化项，用于更稳健的基于CF的跟踪。HK
Galoogahi等人[8]在滤波器训练过程中集成了裁剪矩阵，并使用交替方向乘子法（ADMM）进行优化，使跟踪器能够感知真实的背景信息。针对更具挑战性的无人机跟踪问题，[4]提出了更具自适应性和鲁棒性的自动时空正则化跟踪方法。而基于SOTA-CF的跟踪器通常在白天表现良好，忽略了在黑暗中的鲁棒跟踪。
C基于目标