Cross-modality Person re-identification with Shared-Specific Feature Transfer

题目：Cross-modality Person re-identification with Shared-Specific Feature Transfer
作者：Yan Lu

一、研究动机
现有的方法大多是将不同模态的特征映射到同一个特征空间，但是这种方法会降低特征的鉴别性。

二、研究目标
提出“跨模态共享-特有特征转换算法”（cm-SSFT），来探究模态共享信息和模态特定特征的识别潜力。
（1）根据共享特征来建模不同模态样本之间的相似性。
（2）在模态内和模态间传输共享特征以及特定特征。
（3）提出互补特征学习策略（包含模态适应，映射对抗学习和重建增强），以学习每个模态的鉴别性、互补性的共享特征和特定特征。

三、技术路线

以往的方法会丢弃大量重要的特定特征，因为这些特征不能从其他模态中提取。因此，本文试图引入基于近邻相似性建模的特定模态特征，来有效利用每个样本的共享和特定信息。

1. Two-stream feature extractor
   提取特征
   
   分类损失约束
   
   模态内、跨模态三元组损失约束
   

2. Shared-Specific Transfer Network
   在共享特征和特定特征之间互相传递信息，增强特征的鲁棒性
   （1）Affinity modeling
   用共享特征计算跨模态样本相似性
   
   用特定特征计算同模态样本相似性
   
   K近邻选择
   
   （2）Shared and specific information propagation
   利用上述相似性矩阵传递信息
   特征拼接
   
   用图卷积进行特征传递-特征融合
   
   特征转换
   

3. Shared and specific complementary learning
   （1）Modality adaptation for shared features
   增大损失，使共享特征模态无关
   
   （2）Project adversarial learning for specific features
   将特定特征映射到同一样本的共享特征中
   增大损失，使特定特征与共享特征无关
   
   （3）Reconstruction enhancement
   为增强互补性，用解码器重建输入
   
   
   （4）优化过程
   
   优化过程包括两个子过程：
   固定每个鉴别器，优化，令损失最小
   固定除三个鉴别器之外的所有模块，优化，令损失最大

四、实验结果