Unsupervised Domain Adaptation for Nighttime Aerial Tracking

论文 代码

无监督域适应的夜间空中跟踪 + 夜间跟踪 benchmark

Motivation

由于白天和夜间场景的域分布差异（低对比度、亮度、信噪比），导致现有的跟踪器在夜间场景表现较差。而标注大量夜间数据成本过高，因此本文提出一种无监督域适应的方式，即源域（白天）中的训练数据具有手动注释的标签，而目标域中（夜间）的训练数据没有标注。具体贡献如下：

• object discovery 用于预处理，从无标注数据中提取训练 patch
• Transformer-based bridging layer 对齐不同域的特征
• Transformer day/night feature discriminator 通过对抗学习进一步缩小域差异
• 提出一个夜间空中跟踪数据集 NAT2021，包括训练和测试

Method

首先对未标记的目标域数据预处理，采用基于显著性检测的策略来定位潜在目标和裁剪成对训练 patch。训练过程中，使用 bridging layer 调制，使得不同域的特征对齐。后面接一个判别器用于区分源域和目标域的特征。整个过程通过对抗性学习来减少源域和目标域之间的特征分布差异。

Data preprocessing

1. low-light enhancement：Learning to Enhance Low-Light Image via Zero-Reference Deep Curve Estimation
2. salient object detection：Dynamic Context-Sensitive Filtering Network for Video Salient Object Detection
3. dynamic programming ：根据帧与帧之间候选框的归一化距离进行动态规划，确保轨迹是平滑的。对于动态规划没有选取候选框的帧，采用相邻帧的线性插值得到一个候选框。最后，根据得到的框序列从原始图像中裁剪出成对的训练 patch。

Transformer bridging layer 

 

在特征提取后面接一个 transformer 来缩小白天和夜间特征分布的 gap，效果如图 4 所示，直接通过 backbone 提取的特征有明显的差异，而由桥接层修改的特征在分布上有重合。

Transformer discriminator

首先将特征通过 gradient reverse layer (GRL) 反转梯度 （参考 Gradient Reversal Layer 指什么？ - Just4Fan 的回答 - 知乎 )

然后增加一个 classification token，送入两层 Transformer layers 输出域分类结果

判别器需要正确区分源域和目标域，而前面的特征提取和对齐需要混淆二者，它们形成对抗训练。 

NAT2021

为了对夜间空中跟踪进行性能评估，并为无监督训练提供足够的无标签夜间跟踪视频，作者提出了 nighttime aerial tracking benchmark (NAT2021)。 训练集没有标注，并且增加了一个新的光照属性

Experiments