Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification
当前的问题及概述:
由于每一对RGB和IR图像之间缺乏对应标签,大多数方法都试图通过减少整个RGB和IR set之间的差异来缓解set-level对齐的变化。但是,这种set-level的对齐可能会导致某些情况下的不对齐,从而限制了RGB-IR Re-ID的性能。
本文提出了生成跨模态paired-images并同时进行 global set-level(集合级别)和fine-grained instance-level(实例级别)对齐的方法。具体解释见下图:
set-level和instance-level对齐的说明。(a) RGB集和IR集之间有很大的差距。(b)现有的set-level对齐的方法是尽量减少两个模态之间的距离,这可能导致某些情况下的不对齐。©我们的方法首先生成交叉模态paired-images。(d)通过最小化每一pair的图像之间的距离来实现instance-level对齐。
有以下几个优点:
1.我们的方法可以通过模态特定特性和模态不变特性来实现set-level对齐。与传统方法相比,我们的方法可以明确地去除模态特征,从而更好地减少模态带来的变化。
2.在给定人的交叉模态unpaired-images的情况下,我们的方法可以从交换的图像中生成交叉模态paired-images。从而,我们可以通过最小化每个pair的图像的距离来直接执行instance-level对齐。
3.在SYSU-MM01数据集上,本模型
2020 AAAI之ReID:Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification
最新推荐文章于 2024-07-11 14:07:33 发布