Cross-modality Person re-identification with Shared-Specific Feature Transfer—2020CVPR，逐句分析

Cross-modality Person re-identification with Shared-Specific Feature Transfer（基于共享特定特征转移的跨模态行人重识别）

期刊合集：最近五年，包含顶刊，顶会>>网址
文章来源：CVPR2020

研究背景

  现有的跨膜态行人重识别的工作主要是通过将不同模态嵌入到相同的特征空间中来学习模态共享表示，从而降低特征区别性的上限。本文提出一种新的跨模态共享特定特征转移算法（简称为cm-SSFT）来解决上述局限性，以探索模态共享信息和模态特定特征的潜力，从而提高行人重识别性能。

论文分析

  由于处于红外模式的人可以在RGB空间中拥有不同颜色的外观，图像生成也可能有多种结果，如果在图库集中没设置上限的话，那么很难确定哪一个是要生成的重新识别的正确目标，这会造成匹配效率低下。

  跨模态共享特定特征转移算法（称为cm-SSFT）主要是对模态内样本和模态间样本之间的相关性进行建模，并利用它们传播信息，其中每个样本都接受来自其相邻模态间和模态内的信息，同时与它们共享自己的信息，弥补了特定信息的不足，增强共享特征的鲁棒性，从而提高整体表示能力。此方法可以利用传统共享特征学习中无法获得的特定信息，由于法依赖于邻居的亲和力建模，因此补偿过程也可以克服生成方法的选择困难。

跨模态共享特定特征转移算法（cm SSFT）

主框架：

  颜色表示：模态共享流（蓝色块）和模态特定流（RGB为绿色块，IR为黄色块）。使用H和P分别表示sHared和sPpecific特征。

  实现流程：首先，将图像输入到双流特征提取器中，以获得共享和特定特征。然后，共享特定传输网络（SSTN）对模态内和模态间的相关性进行建模。然后，跨模态传播共享和特定特征，以补偿缺少的特定信息并增强共享特征。为了获得区分和互补的共享和特定特征，在特征提取器上添加了两个项目对抗和重建块以及一个模态适应模块，整个算法以端到端的方式进行训练。

3.1 双流特征提取器

  每个输入图像Xm（m∈ {R，I}）将通过卷积层和特征块以生成共享特征和特定特征，为了更好的性能，直接在浅卷积层分离共享流和特定流，而不是在深层的全连接层。

为了确保这两种特征都是有区别的，分别在每种特征上添加一个分类损失Lc：

在特定特征上添加了单模态三元组损失（LsmT），在共享特征上添加跨模态三元组损失（LcmT），以获得更好的可鉴别性：

其中ρ1和ρ2是LcmT和LsmT的边界参数。

3.2 共享特定传输网络（SSTN）

为了统一特征表示，文章使用三段形式来表示每个模态的特征：[RGB-specific; shared; Infrared-specific]。

  其中0表示填充零向量，这意味着RGB模态的样本没有红外模态的特定特征，红外模态的样本没有RGB模态的特定特征，即认为每一个样本都有RGB特异特征，shared特征和红外线特异特征三段。只是对于RGB样本，其红外线特异部分是0。同样对于红外线样本，RGB特异部分是零。这种表示会便利于矩阵运算； [•；•]表示在柱维度上的连接，跨模态需要将特定特征从一个模态转移到另一个模态，以补偿这些零填充向量。

受到图卷积网络（GCN）的影响，利用近邻来传播信息，同时保持整个样本空间的上下文结构。所提出的共享特定传输网络可以弥补缺乏的特定特征，并共同增强整体表示的鲁棒性。

3.3 共享和特定的互补学习

  虽然SSTN探索了一种新的方法来利用这两种共享的特定特征来生成更具区别性的表示，但是，共享和特定特征之间的 信息重叠 可能会影响整体性能。

• 首先，如果共享特征包含许多模态特定信息，互相似性矩阵的可靠性将受到影响，从而导致不准确的特征传递。
• 其次，如果特定特征与共享特征高度相关，则特定特征只能对共享特征提供很少的补充。由于共享信息的存在，特定特征中的冗余信息还将影响模态内相似性矩阵的灵敏度。

  为了缓解这两个问题，我们利用模态自适应从共享特征中过滤出模态特定信息。我们还提出了一种针对互补模态特定特征学习的项目对抗策略和重建增强。

① Modality adaptation for shared features.

为了将共享特征纯化为与模态无关，利用具有三个完全连接层的模态鉴别器对每个共享特征的模态进行分类：

其中ΘD表示模态鉴别器的参数。p(m|Hmi)是特征Hmi属于模态m的的预测概率。在识别阶段，模态鉴别器将尝试对每个共享特征的模式进行分类。在生成阶段，主干网络将产生欺骗鉴别器的特征。这个 min-max game 使共享特征不包含任何与模态相关的信息。

② Project adversarial learning for specific features.

为了使特定特征与共享特征不相关，提出项目对抗策略，在训练阶段，将特定特征投影到同一样本的共享特征上。投影误差用作损失函数

其中，Θmp表示模态m的投影矩阵。在鉴别阶段，Θmp的优化将尝试将特定特征投射到相应的共享特征中。在生成阶段，主干网络将生成的specific特征与共享特征不相关，以欺骗投影。这种对抗性训练可以使这两种特征的特征空间呈线性无关。

③ Reconstruction enhancement.

以上两个步骤可以保证共享特征和具体特征之间没有重叠的信息。为了增强这两个特征的互补，使用每个模态特征后的解码器网络来重建输入，通过连接了共享的和特定的特性，并将其提供给解码器De:

L2损失用于评估重建图像的质量：

重建任务对整体信息丢失造成了限制。结合项目模式适应和对抗性学习，共同的和特定的特征被引导为自我区分和相互补充。

3.4 优化

文章提出的算法是基于对抗的最小最大博弈得对策以端到端的方式进行训练的，各部分的特征学习损失（身份损失和三元组损失）如下：

由于主干特征提取器和SSTN具有相同的重要性，损失都要考虑，总损失如下：

每个部分的最小和最大步长的总损失函数如下

  优化过程包括两个子过程：① 固定每个鉴别器，同时最小化Lmin。② 固定了除三个鉴别器之外的所有模块，最大化Lmax。

  为了确保训练的有效性，每个批次包含相等数量的RGB和红外样本。在测试阶段，利用双流网络从RGB集合和红外集合中提取解纠缠的特征，还使用SSTN来传递模态共享和模态特定特征。所有特征都是L2归一化的，使用欧几里得距离来计算最终的ReID性能。

实验结果

SYSUMM01数据集：

RegDB数据集：

交融实验：

结论

  在本文中,提出了一种用于跨模态人ReID的跨模态共享特定特征转移算法，该算法可以充分利用传统共享特征学习所忽略的特定特征。它在模态内之间和跨模态之间传播信息，这不仅弥补了特定信息的不足，而且增强了整体的可鉴别性。文章还提出了一种互补学习策略来学习自我辨别和互补特征。在两个主流基准数据集SYSU_MM01和RegDB上，所提出的算法分别以22.5%和19.3%的mAP显著优于现有技术。