TPAMI 2024 | MixFormer: 基于迭代混合注意力的端到端跟踪

题目：MixFormer: End-to-End Tracking With Iterative Mixed Attention

MixFormer: 基于迭代混合注意力的端到端跟踪

作者： Y. Cui; C. Jiang; G. Wu; L. Wang

---

摘要

视觉目标跟踪通常采用多阶段流水线，包括特征提取、目标信息集成和边界框估计。为了简化这一流程并统一特征提取和目标信息集成的过程，本文提出了一种紧凑的跟踪框架，称为 MixFormer，基于 transformers 构建。我们的核心设计是利用注意力操作的灵活性，提出了一种混合注意力模块（MAM），用于同时进行特征提取和目标信息集成。这种同步建模方案使我们能够提取目标特定的判别特征，并在目标和搜索区域之间进行广泛的通信。基于 MAM，我们通过堆叠多个 MAM 并在顶部放置一个定位头，简单地构建了我们的 MixFormer 跟踪器。具体来说，我们实例化了两种类型的 MixFormer 跟踪器，一种是分层跟踪器 MixCvT，另一种是非分层简单跟踪器 MixViT。对于这两种跟踪器，我们研究了一系列预训练方法，揭示了监督预训练和自监督预训练在 MixFormer 跟踪器中的不同行为。我们还将掩码自动编码器预训练扩展到我们的 MixFormer 跟踪器，并设计了新的竞争性 TrackMAE 预训练技术。最后，为了在在线跟踪期间处理多个目标模板，我们在 MAM 中设计了一种不对称注意方案以降低计算成本，并提出了一个有效的评分预测模块来选择高质量模板。我们的 MixF