A Survey for Deep RGBT Tracking论文阅读

1.RGBT Tracking：

1.基于MDNet的RGBT-Tracking：

①MDNet：VOT2015的冠军，大多RGBT追踪方法都以MDNet为baseline，如图：

②FANet：首先将RGB和TIR模态的特征通道连接起来进行模态间交互，然后分离进行融合权值计算，使用用softmax进行归一化。
③DAPNet：循环使用子网络。
④DAFNet：与DAPNet中使用的粗糙的融合子网络相比，DAFNet[17]进一步设计了一个与FANet相似的自适应融合模块。
⑤MANet：抽取目标特有的细节，多模态共享的信息，多模态特定的信息，离线训练使用局部注意力机制，在线测试使用全局注意力机制。

2.基于Siamese的RGBT-Tracking：

3.基于其他深度学习的RGBT-Tracking：

①Fusing two-stream convolutional neural networks for rgb-t object tracking：多模态信息通过加法直接组合。
②mfDIMP：基于DIMP的追踪算法，VOT-RGBT2019和VOT-RGBT2020的冠军，通过局部注意力和全局注意力两个子网络学习融合权重

2.RGBT DATA：

数据集包括：

1. RGBT234
2. RGBT210
3. VOT-RGBT2019
4. VOT-RGBT2020
5. LasHeR
6. GTOT
   

Num of Sequences：表示配对的RGBT视频的数量。
Aligned：表示RGB和TIR图像是否对齐。
需要注意的是，VOT-RGBT2019数据集是RGBT234的一个子集，VOT-RGBT2019和VOT-RGBT2020基准测试之间的差异位于测试协议中。因此，它们在统计分析中是相同的。
PR测量了Ground Truth和预测框之间的距离，SR表示在给定阈值以下的对应标签与IoU之间的跟踪失败的比率。
EAO被认为是最重要的，也是最全面地表明了跟踪器的优越性。

各数据集各算法结果如下图所示：

3.未来研究方向：

1. 对于RGBT使用Transformer网络框架的较少。
2. 不同于基于图像的任务，模板信息在RGBT跟踪中尚未得到广泛的研究。
3. 网络建设过程中考虑的数学理论较少。
4. 在融合步骤的背后，实际上发生了什么还没有被讨论过。