Cross-Spectrum Dual-Subspace Pairing for RGB-infrared Cross-Modality Person Re-Identification
简述:
本文的主要目的是为了减少不同光谱的摄像机产生的模态差异问题。本文提出了一种新的多光谱图像生成方法,利用生成的样本帮助网络找到鉴别信息,从而实现对同一个人的跨模态重新识别。下图可以看到,SYSU的红外图和RegDB的红外图是明显不同的。
解决上述问题的目的是为了解决跨模态ReID的另一个挑战是人内(同一人图像)的差异往往大于人间(不同人图像)的差异,因此设计了一个单流神经网络结合上述方法来提取人图像的紧凑表示,称为跨谱双子空间配对(CDP)模型,下图表示了本文为了解决如下问题:
同时提出了一种新的采样策略:Dynamic Hard Spectrum Mining (DHSM)。
模型:
本文有两个点,一个是输入部分,本文采用one-stream输入,但在输入时进行了RGB分通道与IR对应通道(通道扩展到对应通道数)进行比较,本文实验了3种