Self-Supervised Modality-Aware Multiple Granularity Pre-Training for RGB-Infrared Person Re-ID—通用范式

题目：elf-Supervised Modality-Aware Multiple Granularity Pre-Training for RGB-Infrared Person Re-Identification（RGB-红外人物再识别的自监督模态感知多粒度预训练）

期刊合集：最近五年，包含顶刊，顶会，学报>>网址
文章来源：

研究背景

 受到单模态 ImageNet 预训练带来的模态偏见训练问题的影响，产生了严重的跨模态图像检索的 RGB 偏见表示。本文首次尝试从训练前的角度来处理这项任务。作者提出了一种自监督的预训练方案，模态感知多粒度学习（MMGL），它仅在多模态 ReID 数据集上从头开始直接训练模型，但在不使用任何外部数据或复杂的调整技巧的情况下，与 ImageNet 预训练相比，可以获得有竞争力的结果。

论文分析

 第一，开发了一个简单但有效的 “排列恢复” 场景任务，该任务将随机混洗的 RGB-IR 图像对全局映射到共享的排列潜在置换空间中，为下游 ReID 任务提供模态不变的全局表示。第二，提出了一种局部感知循环对比（PCC）学习策略，该策略利用跨模态循环一致性来最大限度地提高语义相似的 RGB-IR 图像块之间的一致性，使得能够对不成对的多模态场景进行对比学习，进一步提高了局部特征的可分辨性，而无需费力地增加实例。基于这些设计，MMGL有效地缓解了模态偏误训练问题，实现了与 ImageNet 预训练相比具有竞争力的任务性能。

网络框架

A. Problem Formulation

跨模态任务的理解：给定一个查询集，包括了图像和图像对应的标签，通过一些手段去图库集检索出一个 ranking list，其中，查询集和图库集身份相等的排列到 top 的位置上，再使用归一化不计数累积增益（NDCG）之后，需要优化以下目标函数。整个过程是红外图像作为查询集去检索可见图像作为图库集。

B. Cross-Modality Permutation Recovery

作者用 来表示随机混洗的图像补丁序列的排序向量，该模块旨在学习用置换矩阵 P 重建其原始序列 O ，在数学上，P 属于 0-1 双随机矩阵的集合，其中第 i 行和第 j 列中的每个非零元素都表明当前第 i 个补丁应该分配到序列的第 j 位（可以理解为 P 是用来进行转置的矩阵）。表示如下：

然而，该问题的离散性可能会对模型优化提出巨大挑战，作者转而介绍了如何利用反向传播近似这个任务解决过程。

Ⅰ. Permutation Generation. (排列产生)

引入了一种模态共享混洗算子 ，它将随机组成的跨模态图像对 {Xrgb, Xir} 转换为它们的混洗对应物 ，假设混洗后的图像包含N个补丁，由从均匀分布中采样的阵列 [1，···，N] 的随机排列给出，这表示从原始补丁到其随机混洗补丁的映射。在每个跨模态图像对内共享了，其将两个模态图像映射到公共排列子空间中。

Ⅱ. Permutation Recovery. (排列恢复)

将混洗后的图像映射到相应的亲和度矩阵，以恢复它们的原始阶数。这样的映射可以通过编码器
来拟合，编码器 F 具有将每个图像变换为 N ² 维度的特征表示的参数 Θ。对于混洗之后的补丁对，F 学习两个全局表示 frgb 和 fir ，使用共享的全连接层 G 将它们的尺寸减小到 N ²，，作者将 变换为 N×N 矩阵 ，其中每一行和每一列都可以被视为 logit 向量，表示补丁属于序列位置（即类别）的可能性。然而，很难将置换矩阵 P 与学习到的 直接拟合，因为每个补丁都是离散的，使得近似过程不可微。为此，作者引入 Gumbel-Sinkhorn 算子，将 松弛到连续域，以拟合分类分布。
Sinkhorn operator 定义如下：

其中，表示的是矩阵的行规范化和列规范化，表示按元素划分，是个的列向量，是迭代次数。
基于 Sinkhorn 算子，可以用 Gumbel-Softmax 分布重新参数化排列矩阵的艰难选择，

这里 γ 表示从 Gumbel 分布采样的随机噪声，τ 是温度超参数。
在松弛了所学习的亲和矩阵 之后，可以通过反向传播逐渐接近基本事实 P，旨在最小化以下排列重建误差：

Ⅲ. Comparisons with Existing Work.

解拼图是排列恢复最相关的借口任务，直观地形成了一个更多样的特征空间。然而会出现与直觉相违背的结果，如下表：

一个可能的原因是，人物图像中的姿势变化可能会导致水平方向上的严重空间错位，使补丁在语义上毫无意义。此外，当前面向拼图的预训练主要集中于学习逐块表示，而忽略了补丁之间的上下文，这个问题的解决方案可以是引入补丁重叠，但这将不可避免地带来额外的计算成本。排列恢复直接将完整图像作为输入来编码上下文，经证明更强大、更高效。

C. Part-Aware Cycle-Contrastive Learning（PCC）

通过跨模态排列恢复，预训练的模型能够学习模态不变的生物特征（例如，形状和纹理），有利于模态对齐。然而，它可能会崩溃为低损失的解决方案，这阻碍了它学习所需的表示，例如，直接利用在补丁上连续的边界模式和纹理来解决任务。这种 “捷径” 会抑制类内的紧凑性，导致身份识别的模糊决策边界。

对比学习在学习辨别表征方面具有很好的能力。通过 “双裁剪增强” 策略，它最大限度地提高了同一图像的不同视图之间的一致性，以实现更好的类内紧凑性和类间可分辨性。尽管如此，由于 RGB-IR ReID 任务中异构图像的不成对性质，将现成的对比学习管道直接应用于多模态场景是不可行的。由于大多数扩充都是模态内的，它们也不能反映身份语义的跨模态相关性。PCC 采用软最近邻检索来生成正补丁对，而不是两个裁剪增强。每个图像补丁使用 PCB 样式的投影头将其映射到标准化的 256 维度表示中。在投影之后，引入一个前向-后向最近邻过程来捕获跨模态循环一致性。
给定一个查询表示 qi，首先从对应模态的通用表示集 U 导出其软最近邻 。然后，在同一图像的补丁集内向后计算 的软最近邻。当两个检索到的软近邻相似时，满足循环一致性。检索过程定义为：

其中 τ 是温度，sim 是余弦相似度。

在基于相似性的前向-后向检索之后，将获得具有相似语义的跨模态补丁对 和两组检索到的表示 。
对于对比学习，将前者视为正对，而后者视为负对：

通过在推掉所有负对的同时将正对拉在一起，深度网络将学会发现语义相似身体分区之间的模态对应关系。这种明确的监督有助于异构图像的细粒度对齐，有助于将更好的模态不变性和判别能力转移到下游跨模态 ReID 模型。

由于编码器是用随机初始化预先训练的，PCC 可能在早期训练中生成随机正对，这将降低学习表示的判别能力。为了避免这种情况，需要一个惩罚术语来指导 PCC 检索用于正对生成的语义相似补丁。在这里，进一步在部分表示上施加交叉熵损失 Lcls，以预测每个补丁的排列标签。通过这种监督，鼓励同一身体部位的贴片在嵌入空间中更靠近，更有可能被视为正对。

D. Supervised Fine-Tuning for RGB-IR ReID

由于 MMGL 是一种基于损失函数的算法，它对编码器 F 的选择是不可知的，并且可以与任何 RGB-IR ReID 模型一起用作通用前端。在微调阶段，将 MMGL 预训练的主干转移到下游模型，并执行跨模态图像检索的监督学习。除此之外，还优化了不同方法的单位交叉熵损失 Lid、三重态损失 Ltriplet 和方法特定损失 Lspecific。总损失如下：

实验结果