跨模态行人重识别cm-SSFT：Cross-modality Person re-identification with Shared-Specific Feature Transfer 学习笔记

目录

摘要

方法

 试验

---

论文链接：Cross-modality Person re-identification with Shared-Specific Feature Transfer

摘要

        在本文中，我们通过提出一种新的跨模态共享特定特征转移算法（称为 cm-SSFT）来解决上述限制，以探索模态共享信息和模态特定特征的潜力。我们对亲和力进行建模根据共享特征对不同模态样本进行分类，然后在模态之间和跨模态传输共享特征和特定特征。我们还提出了一种互补的特征学习策略，包括模态适应、项目对抗学习和重建增强，以分别学习每种模态的判别性和互补性共享特征和特定特征。整个 cm-SSFT 算法可以端到端的方式进行训练。 

        模态共享特征学习方法放弃了许多有用的特定线索，因为无法从其他模态中提取模态特定信息。我们的算法尝试基于跨模态近邻亲和力建模引入模态特定特征，有效地利用每个样本的共享信息和特定信息。

        cm-ReID 的主要困难是由于不同相机本质上不同的成像过程导致的模态差异。红外图像中缺少一些判别线索，如 RGB 图像中的颜色。以前的方法可以概括为两大类来克服模态差异：模态共享特征学习和模态特定特征补偿。共享特征学习旨在将任何模态的图像嵌入到相同的特征空间中[46,49,50]。不同模态的特定信息，如 RGB 图像的颜色和红外图像的热图像，作为冗余信息被消除 [4]。然而，像颜色这样的特定信息在传统的 ReID 中起着重要作用。仅使用共享线索，特征表示的区分能力的上限是有限的。因此，模态特定的特征补偿方法试图弥补从一种模态到另一种模态的缺失的特定信息。双级差异减少学习（D2RL）[44]是利用生成对抗网络（GAN）[8]生成多光谱图像以弥补缺乏特定信息的典型工作。但是，处于红外模式的人可以在 RGB 空间中拥有不同颜色的衣服。图像生成可以有多个合理的结果。如果不记住有限的画廊集，很难确定哪个是要生成的正​​确目标以进行重新识别

方法

提出一种新的跨模态共享特定特征转移算法（称为 cm-SSFT）来解决上述限制，以探索模态共享信息和模态特定特征在提高重新识别性能方面的潜力.它对模态内和模态间样本之间的亲和力进行建模，并利用它们来传播信息。每个样本都从其邻近的模态间和模态内接收信息，同时与它们共享自己的信息。该方案可以弥补特定信息的不足，增强共享特征的鲁棒性，从而提高整体表示能力。 

贡献

（1）出了一种端到端的跨模态共享特定特征转移（cm-SSFT）算法，以利用模态共享和特定信息，实现最先进的跨模态人 ReID 性能。

（2）提出了一种特征转移方法，通过对模态间和模态内亲和度建模，根据近邻在模态之间和跨模态传播信息，可以有效地利用每个样本的共享信息和特定信息。 

（3）提供了一种新的互补学习方法来分别提取每种模态的区分性和互补性共享和特定特征，这可以进一步提高 cm-SSFT 的有效性

方法

Cross-Modality Shared-Specific Feature Transfer

         输入图像首先被送入双流特征提取器，以获得共享和特定特征。然后共享特定传输网络（SSTN）对模态内和模态间的亲和力进行建模。然后，它跨模态传播共享和特定特征，以弥补缺少的特定信息并增强共享特征。为了获得区分和互补的共享和特定特征，在特征提取器上添加了两个项目对抗和重建块以及一个模态适应模块。

Two-stream feature extractor

       双流特征提取器包括模态共享流（蓝色块）和模态特定流（RGB 的绿色块和 IR 的黄色块）。每个输入图像 Xm (m ∈ {R, I}) 将通过卷积层和特征块来生成共享特征和特定特征。为了获得更好的性能，在浅卷积层而不是更深的全连接层分离共享流和特定流。

         为了保证这两种特征都具有区分性，我们分别在每种特征上加上分类损失 Lc：

 其中 p(ym (2) i |∗) 是输入图像 Xm 属于真实类别 ym i 的预测概率。分类损失确保特征可以区分输入的身份。此外，我们在特定特征上添加了单模态三元组损失 (LsmT)，在共享特征上添加了交叉模态三元组损失 (LcmT)，以获得更好的可辨别性：

 Shared-Specific Transfer Network

[RGB-specific; shared; Infrared-specific] as follows:

 0 表示填充零向量，这意味着 RGB 模态的样本没有红外模态的特定特征，反之亦然。 [•; •] 表示columan 维度中的串联。对于跨模态检索，需要将特定特征从一种模态转移到另一种模态以补偿这些零填充向量。受图卷积网络（GCN）的启发，利用近邻传播信息，同时保持整个样本空间的上下文结构。所提出的共享特定传输网络可以弥补缺乏特定特征并共同增强整体表示的鲁棒性。如图 所示，SSTN 首先根据两种特征对样本的亲和度进行建模。然后它使用亲和力模型传播模态内和模态间信息。最后，特征学习阶段通过分类和三元组损失来指导整个过程的优化。

Affinity modeling

        使用共享的和特定的特征来模拟成对的亲和力。我们采用特定特征来计算模态内的亲和力和模态间的共享特征，如下所示：

        内部相似性和相互相似性表示每个样本与具有相同和不同模式的其他样本之间的关系。我们将最终的关联矩阵定义为

         其中 T(•, k) 是近邻选择函数。它保留矩阵每一行的前 k 个值，并将其他值设置为零。

Shared and specific information propagation

SSTN 利用这个矩阵来传播特征。在此之前，RGB 和红外模态的特征在行维度中连接，每一行存储一个样本的特征

按照GCN方法，我们得到亲和矩阵A的对角矩阵D，这些特征首先用近邻结构(D-支AD-支Z)传播，然后通过一个可学习的非线性变换进行融合。特征融合后，传播特征将包括两种模式的共享特征和特定特征。已传播的特征Z重新计算为 

其中 σ 是激活函数，在我们的实现中是 ReLU。 W 是 SSTN 的可学习参数。这些传播的特征最终被送入特征学习阶段以优化整个学习过程。转移的特征 T 表示为： 

 遵循共同的特征学习原则，我们使用分类损失进行特征学习：

        在转移特征上使用三元组损失来增加辨别能力。由于转移的特征既包括共享特征又包括两种模态的特定特征。我们在其上添加 cm-triplet loss LcmT(T) 和 sm-triplet loss LsmT(T) 以更好地区分： 

 Shared and specific complementary learning

        SSTN 探索了一种新方法来利用这两种共享的特定特征来生成更具区分性的表示。然而，整体性能可能仍会受到共享特征和特定特征之间的信息重叠的影响。

问题1：如果共享特征包含大量特定于模态的信息，则等式（6）中的互相似矩阵的可靠性将受到影响，导致特征转移不准确.

问题2：如果特定特征与共享特征高度相关，则特定特征只能对共享特征提供很少的补充。由于共享信息，特定特征中的冗余信息也会影响等式（6）中模态内相似性矩阵的敏感性

方法：为了缓解这两个问题，我们利用模态适应从共享特征中过滤出模态特定信息。提出了一种项目对抗策略和重建增强，用于互补模态特定特征学习。

 共享特征的模态适应

         为了纯化与模态无关的共享特征，我们利用具有三个全连接层的模态鉴别器对每个共享特征的模态进行分类：

        其中 ΘD 表示模态鉴别器的参数。 p(m|Hm i ) 是特征 Hm i 属于模态 m 的预测概率。在判别阶段，模态判别器将尝试对每个共享特征的模态进行分类。在生成阶段，主干网络会生成特征来欺骗判别器。这种最小-最大游戏将使共享特征不包含任何与模态相关的信息。

针对特定功能的项目对抗性学习 

        为了使特定特征与共享特征不相关，提出了项目对抗策略。在训练阶段，我们将特定特征投影到同一样本的共享特征上。投影误差用作损失函数

        其中 Θmp 表示模态 m 的投影矩阵。在这个等式中，“·”表示矩阵相乘。同样，在判别阶段，Θmp 的优化会尝试将特定特征投影到对应的共享特征上。在生成阶段，主干网络将生成与共享特征不相关的特定特征来欺骗投影。这种对抗性训练可以使两种特征的特征空间线性独立。或者最小化和最大化投影损失将导致骨干网络学习不同于共享特征的特定模式。 

重建增强

        模态适应和项目对抗性学习确保共享和特定特征不包含彼此之间的相关信息。为了增强这两个特征的互补性，我们在每种模态的特征之后使用解码器网络来重建输入。我们将共享的和特定的特征连接起来，并将它们提供给解码器 De：

  [•; •] 表示特征连接。 L2损失用于评估重建图像的质量：

重建任务对整体信息丢失进行了约束。结合项目模态适应和对抗性学习，引导共享和特定的特征实现自我区分和互补。

 试验