Abstract
我们观察在RGB-T数据中观察到:模式相关经常出现在跨模态间和连续帧之间,因此,本文提出了一个cross-modal pattern-propagation (CMPP) 跟踪框架在空间域和时间域中扩散实例模式(原文是diffuse instance patterns)。
为了连接RGB-T模态,在模态内配对模式的跨模态相关性来揭露不同模态间的潜在联系 (原文是the cross-modal correlations on intra-modal paired pattern-affinities are derived to reveal those latent cues between heterogenous modalities.)。通过这些关系,有用的模态可以在不同RGB-T之间相互传播以填补模态内的模式传播。
进一步,考虑到连续帧之间的时序连续性,引入模态传播的思想到动态的时域中,这里长时历史上下文信息自适应相关并传递到当前帧中,实现更有效的信息继承。
实验证明提出的CMPP在2个RGB-T跟踪数据集上有着明显的性能提升。
核心:
- perform inter-modal pattern-propagation process for