Cross-Modal Pattern-Propagation for RGB-T Tracking

Chaoqun Wang, Chunyan Xu, Zhen Cui, Ling Zhou, Tong Zhang, Xiaoya Zhang, Jian Yang
PCALab, Key Lab of Intelligent Perception and Systems for High-Dimensional
Information of Ministry of Education, School of Computer Science and Engineering,
Nanjing University of Science and Technology(CVPR2020)

1.摘要

       基于对RGBT数据的观察，模式相关性（pattern correlations）在跨模态以及在序列帧之间频繁出现，本文提出一个跨模态模式传播（CMPP）跟踪框架，在空间域和时间域的RGBT数据上扩散实例模式（？？？）。为了连接RGBT模态，作者推导了模态内配对模式亲和力的跨模态相关性，以揭示异质性模态之间的潜在线索。通过相互关系，有用的模态可以在RGBT之间相互传播，从而实现模态间的传播。此外，考虑到序列帧之间的时间连续性，采用模式传播到动态时域的思想，将长期的历史上下文信息自适应地关联并传播到当前框架（帧）中，以获得更有效的信息继承。

2.问题

（1）当前的许多方法大多利用模态权重来使得两种模态进行融合，没有利用跨模态以及序列帧之间的内部模式相关性，然而模式相关性在RGBT跟踪中频繁出现。作者在数据集上对RGB和T模态的相关性进行了统计分析：对像素的亲和性是通过对像素灰度值的欧几里得度量来定义的，亲和力值越大表示像素对越相近。根据亲和力值，定义了每个RGB或热图像中的相似对和不相似对。进一步，在相同空间位置亲和力值相同的条件下，确定了模态间对的对应关系。换句话说，对应对象定义了一个匹配的关系模式，将其视为二级关联（a second-order correlation）。对所有匹配的内部模态对进行总结：内部模态对的模式对应物在相似对和不相似之间是频繁出现的。这种情况称为多模态模式关联，是一种二级关系（a second-order relationship）（关系上的关系）。此外，另一个现象是，由于序列的连续性，图像小块往往在相邻序列帧之间重复出现多次，因此，定义了跨序列帧时间的模式的相关性，即一级内部模态关系模式（one-order intra-modal pattern-correlation）。

        基于上述观察，在本文中，提出了一跨模态模式传播跟踪框架（CMPP），