【CVPR2024】 EDITOR Magic Tokens: Select Diverse Tokens for Multi-modal Object Re-Identification

基本信息:

论文标题：Magic Tokens: Select Diverse Tokens for Multi-modal Object Re-Identification
作者：Pingping Zhang, Yuhao Wang, Yang Liu, Zhengzheng Tu, Huchuan Lu
机构：大连理工大学未来技术学院、人工智能学院，安徽大学多模态认知计算重点实验室，安徽大学计算机科学与技术学院
论文链接：https://arxiv.org/pdf/2403.10254.pdf
URLs: Paper, GitHub

论文概述

单模态对象重新识别（ReID）在复杂视觉场景中保持鲁棒性面临巨大挑战。相比之下，多模态对象ReID利用了来自不同模态的互补信息，显示出在实际应用中巨大的潜力。然而，以前的方法可能容易受到无关背景的影响，并且通常忽略模态间的差距。为了解决上述问题，我们提出了一种新颖的学习框架EDITOR，用于从视觉Transformer中为多模态对象ReID选择多样的标记。我们首先使用共享视觉Transformer从不同的输入模态中提取标记化特征。然后，我们引入了一个空间-频率标记选择（SFTS