RGBT Tracking论文阅读：Efficient RGB-T Tracking via Cross-Modality Distillation（CVPR2023）

👉 针对问题与解决方法：

针对问题：现有的RGBT算法采用复杂的融合策略需要大量的参数；但是简洁的RGBT跟踪器在计算上可能高效但是特征提取能力会削弱，性能会退化。

解决方法：提出了一种跨模态蒸馏框架，以达到即高效又不降低精度的目的。

💡 亮点

1. 教师-学生模型，知识蒸馏应用于RGBT跟踪
2. 从降低模型参数量和计算复杂性入手

➡️ 参考文章

RGB-T tracking by modality difference reduction and feature re-selection

Learning discriminative model prediction for tracking.

Distilling Knowledge via Knowledge Review

✅ 总结

为了减少大模型和简洁模型的性能差距，提出了一个新的教师-学生的知识蒸馏训练框架。

SCFD：模态共有特征和模态特定特征从教师模型传递到学生模型——增强了单模态特征的表示

MPSD：学生模型可以自适应的组合各种简单融合策略生成的多个融合特征，以更彻底地从多模态数据中探索互补信息

HFRD：缓解目标状态估计阶段数据不平衡的问题，提高对干扰物的辨别能力

达到先进性能，减少了参数量和计算复杂性

限制：对于提高目标状态估计部分的效率没有进行工作

贡献

• 提出了一个特定-公共特征蒸馏模块以将公共模态信息和模态特定信息从深层双流网络转为浅层双流网络
• 提出了一个多路选择蒸馏模块以指示一个简单的融合模块通过使用多路径从一个精心设计的融合机制中学习更多准确的多模态信息

Method

Teacher and Student Model

• teacher model

  • 输入：一对RGBT图片对
  • 特征提取：双流网络
  • 复杂的特征融合模块
  • 融合后的特征被送到目标状态估计模块中，获得最终的跟踪结果

• student model

  • 单流特征提取
  • 几个高效的多模态融合模块

• 特征提取
  

  • Teacher——两个特征提取器ResNet50
  • Student——一个特征提取器ResNet18
  • 使用block3,4的特征进行回归，使用block4的特征进行分类

• 多模态特征融合

  • Teacher——采用模态差分补偿（MDC）模块和特征重新选择（FRS）模块进行多模态特征融合