CVPR 2020之ReID：Cross-modality Person re-identification with Shared-Specific Feature Transfer

Cross-modality Person re-identification with Shared-Specific Feature Transfer

当前的问题及概述：
现有的研究主要集中在通过将不同的模态嵌入到同一个特征空间中来学习共同的表达。然而，只学习共同特征意味着巨大的信息损失，降低了特征的差异性。
在本文中，提出了一种新的跨模态共享特征转移算法(cm-SSFT)来解决上述问题，以探索模态共享信息和特定特征在提高再识别能力的潜力。

图1可以看到，现有的模态共享特征学习方法由于不能从其他模态中提取特定的信息而放弃了大量有用的特定线索，而本文的算法尝试在跨模态邻近吸引力模型的基础上引入模态特征，有效地利用了每个样本的共享信息和特定信息。
模型及loss：

输入图像首先被输入到two-stream特征提取器中，以获得共享的和特定的特征。然后使用shared-specific transfer network (SSTN)模型来确定模态内和模态间的相似性。然后在不同的模态间传播共享和特定特征，以弥补缺乏的特定信息并增强共享特征。在特征提取器上增加了两个项目对抗重建块(project adversarial and reconstruction blocks)和一个模式适应模块(modality- adaptation module)，以获得区别性、互补性的共享特征和特定特征。
1.Two-stream feature extractor
Two-stream feature extractor提取了RGB和IR的特有体征（绿色和黄色）和共有特征（蓝色），公式1中H表示共有特征，P为特有特征：

为了保证这两类特征都是有区别的，分别在每一类特征上加入了分类损失Lc，以分类确保特征可