CV.1 Tracking Different Ant

2023IJCAI阅读笔记(1. 追踪不同蚂蚁物种：无监督域适应框架和多目标跟踪数据集

---

标题: Tracking Different Ant Species: An Unsupervised Domain Adaptation Framework and a Dataset for Multi-object Tracking

⏲️ 年份: 2023

👀期刊/影响因子:

📚 数字对象唯一标识符DOl: 10.24963/ijcai.2023/61

🤵 作者: Abeysinghe Chamath,Reid Chris,Rezatofighi Hamid,Meyer Bernd

---

👁️‍🗨️摘要:

本文提出了一种新颖的无监督领域适应框架，专门用于解决自动跟踪不同种类蚂蚁的难题。由于蚂蚁缺乏显著的个体视觉特征、密集群体以及多种外观形态，自动跟踪一直是一项极具挑战性的任务。本研究的核心是一个端到端可训练的多目标跟踪器，它首次利用了领域适应技术来实现跨物种的泛化能力。该框架基于一个结合检测与跟踪的架构，并融入了一组领域歧视器模块，通过对抗性训练策略，这些模块与跟踪损失共同工作，以缩小源域和目标域之间的表现差距。

此外，论文还介绍了一个大规模的蚂蚁数据集和针对无监督领域适应多目标跟踪的基准测试。数据集包含了来自两种不同蚂蚁物种的57段视频序列，超过30,000帧，涵盖了不同的背景模式。数据被分为源域和目标域，分别用于训练、验证和测试，其中源域有33个序列，目标域有24个序列。

为了评估所提框架的有效性，研究者将其与多种现有的领域适应和非领域适应的多目标跟踪基线方法进行了比较，结果显示，所提出的多级领域适应方法显著提升了跟踪性能。特别是在HOTA、MOTA和IDF1等多目标跟踪标准指标上，相比于未采用领域适应的Trackformer模型，改进幅度超过了40%。即使与最先进的“Adapt DETR”模型相比，即集成有领域适应策略的DETR模型后跟SORT或EMD跟踪器，本文方法依然能显示出超过16%的性能提升。

研究还进行了详细的消融实验，探讨了各个领域适应组件对模型精度的贡献，发现结合局部和全局特征的歧视器能显著提升性能，但需解决错误预测传播问题，而轨迹歧视器的引入有效解决了这一难题。

综上所述，本文的工作为理解集体行为的生物学实验提供了强大的工具，有助于自动跟踪不同种类蚂蚁，降低了实验规模和数据收集的限制，促进了生态学和行为学研究的发展。代码和数据集已公开，可供研究人员进一步探索和扩展。

👀研究背景和研究问题:

1. 研究背景:

   • 蚂蚁是理解集体行为的重要模型系统,但由于蚂蚁缺乏视觉上的个体特征,以及群体密度高,使得自动跟踪它们极其困难。
   • 不同蚂蚁物种之间外观差异很大,这使得通用的跟踪方法难以实现。现有的数据驱动跟踪方法在不同物种和环境之间的泛化性能较差。

2. 研究问题:

   • 如何设计一种无监督域适应的多目标跟踪框架,能够从一种蚂蚁物种迁移到另一种物种?
   • 如何构建一个大规模的蚂蚁跟踪数据集,包含不同物种和环境,为该领域的研究提供基准?

🎨研究方法及改进:

1. 研究方法:

   • 提出了一种无监督域适应的多目标跟踪框架 DA-Tracker
   • 该框架建立在联合检测和跟踪的基础上,并扩展了一组域判别器模块,采用对抗训练策略来整合跟踪损失
   • 域适应模块分别应用于图像级特征和轨迹级信息,以确保源域和目标域数据的特征分布高度重叠

2. 改进:

   • 相比于基于检测的跟踪方法和数据驱动的跟踪方法,该框架通过在跟踪管道的多个层次应用域适应,实现了显著的性能提升
   • 与仅使用视觉特征判别器相比,集成轨迹级判别器可以显著减少误检,提高跟踪准确性 11

‼️实验对比结果:

1. 与非领域适应模型的对比：与未采用领域适应的先进多目标跟踪器如Trackformer相比，DA-Tracker在HOTA（Higher Order Tracking Accuracy）、MOTA（Multiple Object Tracking Accuracy）和IDF1（Identity F1 Score）等关键评价指标上实现了超过40%的提升。这表明通过领域适应，模型能够更有效地泛化到未经直接训练的蚂蚁种类和环境上。
2. 与领域适应基线模型的比较：即便是与已经采用领域适应策略的基线模型，如Adapt DETR（结合SORT或EMD跟踪器）相比，DA-Tracker也展现了大约16%的性能增益。这进一步证明了论文提出的在多层面对抗性训练策略的有效性和优越性，尤其是在解决跨领域特征差异和减少错误传播方面。
3. 消融实验的深入分析：通过详细的消融实验，研究者展示了各个领域歧视器组件对模型性能的具体贡献。结果显示，结合局部特征歧视器（Del）和全局特征歧视器（Deg）能显著提高模型的准确性，但同时也揭示了错误预测在时间序列中的传播问题。为此，轨迹歧视器（Dtr）的引入成功缓解了这一问题，进一步提高了跟踪的稳定性。
4. 广泛适用性验证：实验不仅验证了DA-Tracker在不同蚂蚁种类间的泛化能力，还显示了其在不同环境背景下（如不同光照、地面纹理）的鲁棒性，证明了模型具有较强的环境适应性。

📚数据集以及评价指标:

本论文的评价指标：

1. Multiple Object Tracking Accuracy (MOTA): MOTA是一个综合指标，考虑了跟踪精度和完整性，同时惩罚了错配（false positives）、漏检（false negatives）和身份切换（identity switches）。高MOTA值意味着较少的错误，是评估跟踪性能的主要指标之一。
2. Identity F1 Score (IDF1): IDF1衡量个体目标的识别准确度，综合了精确度（precision）和召回率（recall），特别关注正确匹配的个体目标数量。IDF1值越接近1，表示个体目标跟踪的准确度越高。
3. Higher Order Tracking Accuracy (HOTA): HOTA是一种更全面的评价指标，同时考虑了检测和关联性能。它平衡了检测精度和跟踪的连续性，提供了一个统一的框架来评价这两方面的性能。
4. Miss Rate and False Positive Rate: 这些指标分别衡量漏检和错配的频率，通常用来评估检测性能。
5. Mostly Tracked (MT)/ Partially Tracked (PT) / Mostly Lost (ML): 这些指标反映了跟踪连续性，MT表示大部分时间都被正确跟踪的对象比例，PT表示部分时间被跟踪的对象，而ML则表示大多数时间丢失的对象。
6. Track Fragmentation: 衡量跟踪路径的连续性，较少的片段表示更稳定的跟踪。
7. Precision and Recall: 跟踪的精度和召回率分别反映了预测出的轨迹与真实轨迹匹配的正确率和覆盖率。

---

💯论文创新点:

( 1 )在端到端的可训练框架中提出了一种用于多目标跟踪的无监督域适应方法；

( 2 )引入了一个大规模蚂蚁数据集和用于多目标跟踪中无监督域适应的基准测试集；

( 3 )全面评估和比较了我们的框架与基于最先进的检测和数据驱动的MOT方法。

❓启发与思考:

🍞不足及可改进的点: