Cross-modality person re-identification via channel-based partition network

基于通道划分网络的跨模态行人重识别

2022年3区 Applied Intelligence，南京邮电大学

摘要：可见-红外交叉通道的身份识别是夜间视频监控系统中的一项重要任务，红外和可见光图像的巨大差异使得这项工作极具挑战性。与传统的个人重识别不同，跨通道任务需要解决类内差异和类间差异。为了解决这种巨大的模态差异问题，本文提出了一种基于通道的分割网络，能够以端到端的方式统一两种模态的特征。首先，为了处理缺乏辨别信息的问题，我们引入新生成的样本来帮助网络提高其学习跨模态特征的能力。其次，在特征层面，我们提出了一种独特的学习局部特征的方法，其中特征图集合在通道上被分割。在提出框架的最后，我们添加了一个轻量级的特征转换器来进一步消除模态差异。在两个流行数据集上的实验结果证明了我们工作的有效性。

    行人重识别(ReID)旨在匹配不同摄像头下的特定行人。它在监控系统中的巨大应用引起了广泛关注。现有的大多数ReID方法主要处理可见光相机拍摄的图像。然而，对于没有照明的夜景，可见光相机无法捕捉足够的行人外观信息[48]。因此，当夜幕降临时，现代监控摄像机可以自动切换到红外模式。红外摄像机具有夜视距离远、隐蔽性强、性能稳定等突出优点。这些优势使其在夜间监控中占据了大部分市场。红外相机发出不可见光照射物体，会被相机漫射接收形成图像。即使对人类来说，快速确定可见光和红外行人图像是否是同一个人这是一个挑战性任务，更不用说计算机了。此外，可见光相机拍摄的图像有三个通道包含可见光的颜色信息，而红外图像只有一个通道不可见光。在这种情况下，可见光和红外图像识别的研究具有重要的意义。

    可见-红外身份识别(VI-ReID)的主要挑战在于如何缩小可见光和红外图像之间的差距。ReID主要解决通道间距离的问题，通道间距离可以定义为可见光通道中行人特征向量之间的距离。除了模态内距离之外，VI-ReID还需要求解模态间距离，模态间距离可以被定义为两个模态上的行人特征向量之间的距离。与具有丰富颜色信息和结构模式的基于可见图像的ReID方法[30]相比，VIReID任务仅具有结构和形状信息。这个问题最终导致在这个任务中通道间距离大于通道内距离。自从跨通道行人数据集sys sum 01[41]发布以来，已经为跨通道人员重新识别提出了几种解决方案。他们中的一些人仍然将VI-ReID问题视为分类问题，并使用表示学习[1，32]和度量学习[17]去解决它。但由于模态差异的存在，前期提出的方法大多在跨模态数据集上表现不佳，2019年之前rank1的平均准确率只有25%左右。

   图1由提议的生成器生成的新样本

    为了解决上述问题，本文提出了一种新的基于通道的划分网络。为了解决样本不足的问题，我们首先构建了一个以可见光图像为输入的生成器。这些图像的通道被分离并随机组合以形成新的图像作为输出，如图1所示。新生成的图像具有在现实生活中无法拍摄的特殊风格。然而，对于特征学习者来说，找到除颜色之外的信息是有帮助的。特征提取器可以在改变通道的像素分布之后，在不修改图像内容的情况下获得不同的特征。然后，网络将这些经过处理的RGB和IR图像作为输入。我们对特征图集合的通道进行均匀划分，用于part级学习。基于通道的划分是为生成的样本设计的一种独特的划分策略，对像素分布的变化更加敏感，为学习局部特征提供了一种新的方法。最后，汇集的分区被送到全连接的分类层。之后在骨干网的末端增加一个由cycle GAN [52]训练的特征转换器，通过它可以将RGB风格的特征转换成IR风格。我们认为特征转换是有意义的，并且不同于图像变换[9],因为在网络操作之后图像的含义已经改变。一般来说，一幅图像通过卷积和汇集会成为一组特征图。在主干网络的末端，每个特征图被pooled成一个点，该点表示特征中所有像素的平均值。因此，特征意味着其原始特征图的分布而非某个人。

本文的主要贡献可以概括如下。

    首先，建立一个生成器来帮助网络寻找判别信息，通过该生成器，可见光图像被通道分离并随机打乱顺序，重新组合成一个新图像。

    其次，在主干网上应用一种新的划分层，这种划分层在解决VI-ReID问题上比传统方法更有效。

    第三，在骨干网的末端增加一个由cycle GAN训练的特征转换器。当RGB特征通过转换器时，它可以被转换成IR风格，从而使模型差异得到进一步缓解。

    本文的其余部分组织如下。第二部分讨论了VI-ReID，基于部件的方法和生成性对抗训练的相关工作。第3节详细阐述了提出的方法。实验在第4节中描述。最后，我们在第五节给出了结论。

2 Related work

    物体再识别 在物体再识别领域中，行人重识别和车辆的重识别在日常生活中被广泛使用。Wang等人[38]提出了一个称为的多视图数据降维通用框架，可用于图像识别、图像检索和文本分类。车辆作为城市视频监控中的重要对象，在计算机视觉研究领域引起了广泛关注。王等[36]提出了属性引导网络，该网络能够以端到端的方式学习具有丰富属性特征的全局表示。早期的行人重识别依赖于手工特征[22，26，43]，随着深度学习的快速发展，被深度特征[3，14，19，20，24，25，33，42，44，50]所取代。ReID的目标是通过非重叠摄像头识别同一个人，而VI-ReID试图通过两种方式搜索特定的人。传统的行人重识别不仅仅局限于图像，很多工作在视频序列中研究这个问题[23，29]。对于跨通道学习，大多数现有的方法试图学习通道相关的特征。Wu等人[41]发布了名为SYSU-MM01的跨模态RGB-IR数据集，并提出了深度零填充网络来学习公共空间中的特征。Y e等人[46]介绍了一种用于特征提取和特征学习双向双约束顶级损失的双路径网络。为了在可见光和红外通道之间架起一座桥梁，李等人[18]在跨通道任务中增加了一种称为X通道的辅助模式。然而，很少有工作关注图像的通道，这些通道包含了大量有利于跨通道学习的信息。因此，本文对图像的通道进行跨模态研究。

基于part的卷积网络 在图像再识别的研究中，采用part级特征可以得到更细粒度的行人图像描述信息。与全局特征相比，局部特征具有图像内容丰富、特征间相关性低的优点。Wang等人[39]提出了基于三元组中心损失的part感知模型，该模型利用车辆part细节中的区别特征来提高车辆重新识别的准确性。wang等人[37]提出了一个多路径DCNN模型，该模型配备了一个3分支深度卷积网络 以更好地利用整体和部分信息进行细粒度汽车识别。Gheissari等人[10]将行人划分为几个三角形，用于part级别的特征提取。 Gray等人[12]将行人分成水平条纹，进行颜色和纹理特征提取。Sun等人[31]提出了基于部分的卷积基线(PCB)，它在conv层上进行均匀划分，以学习部分级特征。虽然上述用于ReID的方法采用不同的划分策略，但是它们都学习表示人体组成部分的局部特征。在所提出的CPN中，这种策略被丢弃，并且局部特征在通道级别被学习，这更适合于跨通道检索。

生成对抗训练 生成对抗网络(GAN) [11，47]自提出以来受到越来越多的关注。通过对抗训练，GAN可以学习数据集的分布，这在数据增强中得到了广泛的应用。戴等[6] 首次提出生成性对抗训练在解决跨通道ReID问题中的应用。他们提出的框架由一个生成器和一个鉴别器组成，前者用于生成模态不变的表示，后者用于区分不同的模态。Wang等人在他们名为D2RL [40]的方法中使用GAN来翻译图像样式，并将转换后的图像与原始图像组合以形成4通道多光谱图像来缓解模态变化。Wang等人提出了alignan[34]，它可以对齐像素和特征。与上述方法不同的是，提出的CPN中没有图像生成，整个训练过程分为两个阶段。在第一阶段，CPN使用ID损失进行训练。在第二阶段，构造一个由cycle GAN训练的转换器，通过它可以将CPN提取的相应RGB特征转换成相应的IR特征。在模型评估中，该转换器被添加到CPN的末尾。

3 The proposed method

3.1 Generator

    对于传统的deep ReID模型，颜色信息[51]通常支配着学习到的高级语义特征。相反，红外图像只有形状和结构[16]信息，这导致VI-ReID任务的情况是，颜色特征不能成为有效的判别信息。因此，在所提出的CPN中，建立了一个可以改变RGB图像的原始颜色信息的生成器，使得特征学习者可以更加关注形状和结构信息的学习。

图2. CPN示意图。该框架由三部分组成:生成器、基于通道的划分网络和特征转换器。该生成器以RGB图像为输入，输出五种新风格的图像，并与红外样本一起送入基于通道的分割网络进行特征学习。如图所示，身份损失会鼓励这种行为。由cycleGAN训练的特征转换器被添加到训练的CPN的末尾，以进一步缩小两个模态之间的差异。

    如图2所示，生成器将可见图像作为输入，将其分成三个单通道灰度图像，并以新的顺序将它们重建成RGB图像。新样本的标签与原样本一致。根据排列公式，生成的图像具有五种新样式。每个通道中的像素分布已经改变，这意味着红色通道中的像素分布可以应用于绿色或蓝色通道。网络可以在不改变图像内容的情况下提取不同的特征。一方面，通过使用这些图像，特征学习器可以在更有利于提取形状和结构特征的方向上优化参数。另一方面，随着训练样本的增加，模型的泛化能力可以增强，从而提取出更鲁棒的特征。从形式上讲，假设G是生成器，I是原始图像，Ir、Ig和Ib分别是红色、绿色和蓝色通道的灰色图像。这种生成方法可以表示如下:

训练时，原始样本和新生成样本合并成一个新训练集，特征提取器在每次迭代中随机选择RGB图像的六种风格之一。与其他基于图像生成的方法相比，我们使用了一个非常简单的生成器，而没有使用神经网络进行数据扩充，这也可作为协调这两种模态的助手。

3.2 Channel-based partition method

    在传统的基于局部特征的行人重识别中，通常从行人的身体部位提取部分级特征。这些方法通常将整个样本水平或垂直分为几个区域。然而，我们认为，局部特征的提取不应局限于图像的外观。还可以从通道中获取有用的局部特征。通常，特征图是通过对输入图像或之前层的特征图输出应用过滤器生成的。每个特征图可以是一个通道。随着网络层数的增加，通道的数量将增加到数千个。通道中会有很多有用的信息，这些信息很容易被忽略。此时，沿通道分割特征以进行part级特征学习变得有意义。

    如图2所示，主干网被修改为CPN。主干网的平均池层后面的结构被提出的分区层所取代。形式上，当一个图像经历了网络的所有层时，它就变成了几个特征图组成的3D张量，特征图的数量等于通道的数量。 我们把这个三维张量作为T，CPN将T沿通道均匀地划分为p个子张量。通过传统的平均池化和调整大小resizing，所有子张量的维数都会降低，然后输入到分类器中，该分类器由全连接层和Softmax函数实现。划分的张量的标签与原标签保持一致。CPN的损失定义为：

这里，n代表第n分张量，i代表身份标签的维数。我们设定fni代表第n个划分的分类输出，yi代表标签的一个one-hot向量，n代表每个子张量的维数。与其他基于部件的方法相比，所提出的CPN的优点可以总结如下。首先，CPN是一个基于通道的划分网络，这意味着不需要考虑划分对齐的问题。其次，基于通道的策略还可以为PCB等特征提取工具提供更多信息。在主干网的最后一个平均池化层中，将得到的三维张量的每个通道的大小合并为1×1。假设三维张量的维数为D，则最终特征的大小为D×1×1。由于基于通道的划分层，CPN输出了大小为D×1×1的p张量，这为特征学习提供了更丰富的信息，但只需要稍微多一些计算。此外，由于像素分布的变化，CPN对新生成的RGB样本更敏感。最后不能不提的一点是，在模型评估中，CPN不需要像PCB那样组合分区。CPN生成的每个分区与原始特征具有相似的评估效果。  

3.3 Feature converter

    彩色图像和红外图像之间存在巨大差异。对于人类来说，这种差异主要表现在颜色上，而对于计算机来说，则反映在像素值的分布上。由于特征是从图像中提取的，因此这种模态差异仍然存在于特征级别。当特征映射集通过骨干网的最终平均池化层时，其大小为1×1，而通道数保持不变。获得的特征中每个点的值表示原始特征图集合中每个通道中所有像素的平均值。由于特征图是通过原始图像与滤波器的卷积得到的，因此它们在一定程度上是相似的。因此，在图像级上执行的操作也适用于特征级。

    Cycle GAN被广泛用于图像翻译[5,15]，因为它可以实现两种图像风格的转换，而无需在训练中使用成对样本。我们认为它也可以用于特征风格的转换。对抗性训练可以学习这两个域之间的映射。

对于映射函数G:A到B及其鉴别器D，GAN的目标可以表示为

其中，G尝试将A域图像转换为伪B域图像，D负责判断图像是真实的B域图像还是由G生成的。G尝试最小化该目标，而D则相反。G和D作为一个极大极小的游戏互相击败，以提高彼此的能力。

然而，仅在对抗性损失的情况下进行训练无法获得两个域中的成对图像，因为网络可以将输入图像映射到目标域中的任何随机图像序列，其中任何学习到的映射都可以获得与目标分布相匹配的输出分布。 为了解决这个问题，cycle GAN理论认为损失函数应该是循环一致的：对于域A中的每个图像，翻译周期首先将其翻译到域B，然后将其带回域A。这里，让G1将翻译器从域A转换到域B，G2将转换器从域B转换给域a。前向循环一致性可以表示为：

相应地，反向循环一致性可以表示为：

这种行为可能受到循环一致性损失的激励：

在该方法中，用训练后的CPN提取的特征替换周期GAN中的图像。此外，还对生成器和鉴别器的结构进行了修改，使其更适合于特征转换。

4 Experiments

4.1 Datasets

    我们在两个广泛使用的数据集上进行了实验，包括SYSU-MM01和RegDB。SYSU-MM01是一个RGB-IR ReID数据集，包含6台摄像机拍摄的32451幅图像，其中包括4台RGB摄像机和2台IR摄像机。该数据集被分为395个身份的训练集和96个身份的测试集。我们采用了最具挑战性的单样本全搜索模式评估协议。

    RegDB数据集由2060张可见图像和2060张红外图像组成，共412个身份。对于每个ID，10张可见光图像由可见光摄像头获得，10张红外图像由红外摄像头捕获。我们遵循[45]中的评估协议，将数据集随机分成两半，一部分用于培训，另一部分用于测试。

4.2 Implementation details

    我们使用Nvidia GTX 1080ti图形卡进行实验，并在Pytorch上训练深度网络。在训练之前，该生成器对RGB图像进行预处理。对于红外样本，通过直方图均衡化进行数据增强。原始红外图像及其直方图均衡化图像一起输入网络。此外，还将彩色图像及其直方图均衡化图像变换后的灰度图像送入网络，以便与对红外样本的操作保持一致。

    在CPN训练中，我们采用在ImageNet[28]上预训练的ResNet50[13]作为骨干网络，并用基于通道的分区层替换其最终的全局平均池。通过随机翻转和标准化，输入样本的大小都调整为300×100，批量大小设置为32。使用SGD[2]方法优化参数，并将训练时间设置为100。初始学习率设置为0.01，并将在第30个和第60个阶段衰减，衰减系数为0.1。根据上述设置，最终平均池之前的特征地图集大小为32×2048×10×4，然后将其分成4个等分。每个都有一个32×512×10×4的大小，具有相同的身份标签。池过滤器及其条带的大小分别设置为5×2和1。平均池化后，每个分区的大小将变为32×512×2×2。我们将这些分区调整为32×2048×1×1，然后将它们输入身份分类器。

    在特征转换部分，将四个分开的特征拼接在一起作为输入。生成器和鉴别器均由三个全连接的层构成，结构分别为8192×12288×8192和8192×1024×2。基于cycle GAN原理，构造了两套上述生成器和鉴别器。其中一个生成器用于将RGB特征转换为IR特征，另一个生成器用于将IR特征转换为RGB特征。总训练时间为20小时。本节中还使用了SGD优化方法，生成器和鉴别器的初始学习率设置为0.01和0.002，第10个epoch的衰减系数为0.1。在图像翻译中，将彩色图像转换为灰度图像比将灰度图像转换为彩色图像容易得多，因为后者缺乏必要的颜色信息。因此，在特征转换上，我们还将颜色特征转换为红外特征。CPN模型采用RGB-IR生成器。为了确保两种模式的特征更加统一，还将红外特征输入转换器。

4.3 Comparison with state-of-the-art methods

我们将我们的框架与其他不同的方法进行比较，如表1所示。竞争方法包括三个手工艺特征作品：HOG[7]、MLBP[21]、LOMO[22]和十二个深度学习框架：一个流[41]、两个流[41]、零填充[41]、HCML[45]、BDTR[46]、BCTR[46]、cmGAN[6]、D2RL[40]、Hi CMD[4]、AlignGAN[34]、MSR[8]和JSIA[35]。表中反映的结果表明，我们的VI-ReID方法在SYSU-MM01数据集上优于现有的技术状态方法。在另一个较小的RegDB数据集上，除了HI-CMD和AlignGAN之外，该方法的性能优于其他方法。我们在SYSU-MM01上实现了rank1 42.48%和mAP 44.90%的精度，在RegDB上实现了rank1 51.29%和mAP 49.37%的精度。

从方法论的角度来看，可以得出几个结论。首先，这三种手工艺特征对实验结果几乎没有贡献。这是因为手工特征是基于图像的颜色信息提取的。对于没有颜色信息的红外图像，这些功能无效。其次，上述深度学习方法大多基于全局特征，而不是从特征划分的角度考虑跨模态问题。CPN利用了局部特征的优点，并进行了一些创新，以适应跨模态检索。第三，与基于GAN的方法（如cmGAN D2RL和AlignGAN）相比，我们的图像生成方法更轻量，特征转换器更容易训练。

4.4 The effectiveness of channel-based partition method

    表2报告了SYSU-MM01数据集上PCB和CPN的实验结果。在添加新生成的样本之前，PCB的精度与CPN的精度相似。PCB将该功能划分为6个条带，而CPN仅使用4个分区。添加新生成的样本后，PCB在Rank1中获得5.28%的增长，而CPN在Rank1中获得9.15%的绝对增益，比PCB高3.87%。造成这种现象的主要原因如下。一方面，PCB将特征映射集沿垂直方向划分为6个分区。每个分区代表行人的特定部分，因此它对通道级别的变化不敏感。另一方面，在沿通道划分特征映射集的CPN中，原始图像通道的变化将直接导致通道在特征级的变化，并通过分区学习进一步放大。与将三通道图像分割为三个单通道图像一样，CPN将高维张量分割为几个低维张量。因此，每个分开的张量的意义都与原来的tesnor相同。在这种情况下，提取的局部特征的多样性得到了改善，而变化的特征使得网络对颜色信息不敏感，最终促进了跨模态学习。

    表3显示了提出的划分策略和PCB在part级别的比较。分别对每个分区和合并后的特征进行了评价实验。在PCB的模型评估中，六个局部特征被合成为一个全局特征，这对于CPN来说是不必要的。对每个分区的测试结果表明，所提出的CPN在不合并的情况下也能获得优异的实验结果。相比之下，每个PCB分离条纹的结果远低于合并后的结果。 

4.5 Ablation study

    在本小节中，我们评估了上面提出的每个组件，以在SYSUMM01数据集上验证它们的有效性。这里使用了一些缩写，使表达更加方便。基线表示只使用ResNet50进行实验，随机RGB表示向实验中添加新生成的图像，转换器表示功能转换器。上述对比实验报告了每种成分对最终显著性能的贡献程度（表4）。

    添加新生成的图像后，网络具有优异的性能。一方面，颜色样本数增加了6倍，可以有效防止过度拟合，提高模型的鲁棒性。另一方面，彩色图像信息的变换使网络能够关注形状以及结构特征，从而提取更有利于解决跨模态问题的特征。在图3所示的实验中，假设训练集为{V，I}，V代表可见光图像，I代表红外图像。由于我们使用生成器生成了五种新样式的可见光图像，因此假设这些新生成的样本集分别用于V1、V2、V3、V4和V5。为了证明精度的提高不是由某种新生成的样本引起的，我们使用V1、V2、V3、V4 V5替换原始训练集中{V，I}的V，并生成set2、set3、set4、set5和set6五个新的训练集，其中set1={V1，I}，set2={V2，I}，set3={V3，I}，set4={V4，I}，nD集合5={V5，I}。图中所示的结果表明，每个新图像对实验结果的影响几乎相同。  

我们尝试了不同的划分策略，并探讨了它们对实验结果的影响。在之前的设置中，通道从3D张量的前面到后面被平均分为4个部分。假设在划分过程中允许一些次张量重叠，那么就可以导出更多的划分策略。以2048维特征为例，两种新特征划分方法的结果如图4所示。方法1代表原始的划分方法，方法2和方法3是两种新方法。在方法2中，将0到512维作为第一部分，将256到768维作为第二部分，依此类推。每两个相邻分区有256维重叠，分区总数为6。在方法3中，将特征的第256至768个维度作为第一部分，第768至1280个维度作为第二部分，第1280至1792个维度作为第三部分，最后将第1至256个维度和第1792至2048个维度合并为第四部分。 

如图所示，这几种划分方法之间的差异非常小。在将三维张量划分为4个分区的方法中，无论将哪个维度作为分区，它对最终结果几乎没有影响，因为提供给网络的信息量没有改变。在重叠分区的方法中，虽然分区的数量增加了，但重叠部分包含相同的信息，并且被网络多次训练，但它们不会提升结果。

对于特征变换器，表3说明了变换器对不同零件组合的试验效果几乎相同，表明两种模态特征之间的差异始终存在。

4.6 Discussions

A closer look at the generated samples

    我们对SYSU-MM01训练图像上生成的新样本进行统计分析。图5显示了原始图像的颜色直方图和生成图像的颜色直方图。如直方图所示，原始图像三个通道的像素分布在新图像中被破坏。图6显示了从ResNet50浅层提取的特征图的可视化。可以观察到，网络的卷积核可以从新生成的图像中提取不同的特征。此外，图像的内容没有改变，而颜色样式已经改变。我们使用这种方法来实现简单但有效的数据扩充，这也有利于跨模态学习。  

The influences of the number of partitions on the result

直观地说，分区的数量决定了零件特征的粒度。然而，准确度并不总是随着数字的增加而增加。对分割层的进一步实验表明，当数字为4时效果最好，如图7所示。与PCB不同，CPN不能在尺寸不重叠的情况下将特征划分为6个分区。PCB中3D张量的大小可以随着图像输入大小的变化而变化。当尺寸设置为384×128时，PCB提取的三维张量长度可以被6整除。在CPN中，3D张量的大小仅取决于ResNet50的结构。由于ResNet50提取的3D张量通道数为2048，不能被6整除，因此我们使用2、4和8的数字进行实验。 

Reasons for better performance on RegDB dataset

该模型在RegDB数据集上具有更优异的性能。其潜在原因是CPN对结构和形状信息比颜色更敏感。与SYSU-MM01不同的是，它由六个不同的摄像头拍摄，姿态差异巨大，而RegDB中同一行人的红外图像和可见光图像具有几乎相同的姿态。换句话说，两个样本模态在同一时间和位置被捕获，这使得具有相同身份的两个模态行人具有非常相似的形状和结构。

Analysis of the feature converter

由于特征所提供的信息远小于图像所提供的信息，因此特征转换的效果比图像样式转换的效果差。然而，这种方法的优点是轻量级和简单。在不使用卷积和反卷积的情况下，仅经过20个阶段的训练，rank1、rank5、rank10、rank20和mAP分别提高了1.01% 1.96% 1.49%和1.75%。同时，特征转换也是cycle GAN的一个新应用，这证明了该理论不仅可以用于图像样式转换，还可以用于数据分布迁移。

5 Conclusion

    本文提出了一种新的基于通道的划分网络，用于跨通道的行人重识别。首先，构造一个生成器来改变图像的原始颜色信息。在实现有效的数据扩充的同时，它还帮助网络训练更合适的参数来提取跨模态特征。其次，针对生成的样本，提出了一种新的局部特征学习方法。通过这种方式，特征映射集沿着通道分开，从而消除了特征级的模态差异。最后，增加了一个转换器，使两种模式的特征更加统一。对两个广泛使用的数据集进行的定量和定性评估证明，我们的工作优于最先进的方法。