AAAI2024最佳解读|Temporal Adaptive RGBT Tracking with Modality Prompt-water-merged

论文标题

Temporal Adaptive RGBT Tracking with Modality Prompt 时序自适应RGBT跟踪与模态提示

论文链接

Temporal Adaptive RGBT Tracking with Modality Prompt论文下载

论文作者

Hongyu Wang, Xiaotao Liu, Yifan Li, Meng Sun, Dian Yuan, Jing Liu

内容简介

本文提出了一种新颖的时序自适应RGBT跟踪框架，称为TATrack，旨在解决现有RGBT跟踪器在时间信息利用方面的不足。传统的RGBT跟踪器主要依赖空间信息进行目标定位，往往忽视了时间信息的动态变化。TATrack采用时空双流结构，通过在线更新模板捕获时间信息，同时进行多模态特征提取和跨模态交互。该框架设计了一种时空交互机制（STI），使得跨模态交互能够跨越更长的时间尺度。实验结果表明，TATrack在三个流行的RGBT跟踪基准上实现了最先进的性能，并且能够实时运行。

分点关键点

1. TATrack框架

   • TATrack通过时空双流结构，结合初始模板和在线更新模板，全面利用时空信息和多模态信息进行目标定位。该框架的设计使得跟踪器能够适应目标状态的变化，提升了跟踪的鲁棒性。

2. 时空交互机制（STI）

   • STI机制通过自注意力机制实现初始模板和在线模板之间的信息交互，促进了空间信息和时间信息的相互传播。这种双向信息流增强了特征的判别能力，使得跟踪器能够更好地捕捉目标的最新状态。

3. 模态提示的应用

   • 通过模态提示，TATrack能够有效地实现RGB和TIR模态之间的信息互补，简化了跨模态交互的过程。模态提示的引入使得特征提取和跨模态交互能够在同一分支中同时进行，从而提高了整体性能。

4. 实验结果

   • TATrack在RGBT210、RGBT234和LasHeR等三个流行的RGBT跟踪基准上表现出色，达到了最先进的性能，证明了其在实际应用中的有效性和实时性。

中文关键词

1. 时序自适应
2. RGBT跟踪
3. 模态提示
4. 时空交互
5. 多模态特征提取
6. 目标定位

AAAI论文合集：

AAAI论文合集

希望这些论文能帮到你！如果觉得有用，记得点赞关注哦~ 后续还会更新更多论文合集！！