1.RGBT Tracking:
1.基于MDNet的RGBT-Tracking:
①MDNet:VOT2015的冠军,大多RGBT追踪方法都以MDNet为baseline,如图:
②FANet:首先将RGB和TIR模态的特征通道连接起来进行模态间交互,然后分离进行融合权值计算,使用用softmax进行归一化。
③DAPNet:循环使用子网络。
④DAFNet:与DAPNet中使用的粗糙的融合子网络相比,DAFNet[17]进一步设计了一个与FANet相似的自适应融合模块。
⑤MANet:抽取目标特有的细节,多模态共享的信息,多模态特定的信息,离线训练使用局部注意力机制,在线测试使用全局注意力机制。
2.基于Siamese的RGBT-Tracking:
3.基于其他深度学习的RGBT-Tracking:
①Fusing two-stream convolutional neural networks for rgb-t object tracking:多模态信息通过加法直接组合。
②mfDIMP:基于DIMP的追踪算法,VOT-RGBT2019和VOT-RGBT2020的冠军,通过局部注意力和全局注意力两个子网络学习融合权重
2.RGBT DATA:
数据集包括:
- RGBT234
- RGBT210
- VOT-RGBT2019
- VOT-RGBT2020
- LasHeR
- GTOT
Num of Sequences:表示配对的RGBT视频的数量。
Aligned:表示RGB和TIR图像是否对齐。
需要注意的是,VOT-RGBT2019数据集是RGBT234的一个子集,VOT-RGBT2019和VOT-RGBT2020基准测试之间的差异位于测试协议中。因此,它们在统计分析中是相同的。
PR测量了Ground Truth和预测框之间的距离,SR表示在给定阈值以下的对应标签与IoU之间的跟踪失败的比率。
EAO被认为是最重要的,也是最全面地表明了跟踪器的优越性。
各数据集各算法结果如下图所示:
3.未来研究方向:
- 对于RGBT使用Transformer网络框架的较少。
- 不同于基于图像的任务,模板信息在RGBT跟踪中尚未得到广泛的研究。
- 网络建设过程中考虑的数学理论较少。
- 在融合步骤的背后,实际上发生了什么还没有被讨论过。