Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification用于RGB-红外人重新识别的跨模态配

Cross-Modality Paired-Images Generation for RGB-Infrared Person Re-Identification

用于RGB-红外人重新识别的跨模态配对图像生成

作者：Guan-An Wang, Tianzhu Zhang, Yang Yang, Jian Cheng, Jianlong Chang, Xu Liang, Zengguang Hou,

期刊：AAAI（2020）

摘要

       RGB 红外 (IR) 行人重新识别非常具有挑战性， 因为 RGB 和 IR 图像之间存在较大的跨模态变化。关键的解决方案是学习桥接 RGB 和 IR 模态的对齐特征。然而，由于每对 RGB 和 IR 图像之间缺乏对应标签，大多数方法试图通过减少整个 RGB 和 IR 集之间的距离来减轻集级对齐的变化。然而，这种设置级对齐可能会导致某些实例的未对齐，从而限制了 RGB-IR Re-ID 的性能。与现有方法不同，在本文中，我们建议生成跨模态配对图像并执行全局集级和细粒度实例级对齐。我们提出的方法有几个优点。首先，我们的方法可以通过解开模态特定和模态不变的特征来执行集合级对齐。与传统方法相比，我们的方法可以明确地删除模态特定特征，并且可以更好地减少模态变化。其次，给定一个人的跨模态未配对图像，我们的方法可以从交换的图像生成跨模态配对图像 。有了它们，我们可以通过最小化每对图像的距离来直接执行实例级对齐。

解决问题

       RGB图像和IR图像之间的较大模态差异，使得RGB-IR行人重识别很有挑战性。解决这个问题的关键是学习RGB和IR两种模态间的对齐特征。然而由于在每对RGB和IR图像间缺乏对应的标签，目前大部分方法都会尝试利用set-level(集合级别)的对齐来减小模态之间的差异。然而，现有方法通过最小化两个集合之间的距离来执行集合级对齐，可能会造成个例间的不对齐，从而限制RGB-IR ReID的性能。

       本文的方法首先生成跨模态配对图像。然后，通过最小化每对图像集合之间的距离来执行实例级对齐。

网络架构

       所述框架包括一个跨模态图像生成模块G和一个特征对齐模块F。G首先将图像分解成特定模态和不变模态特征，然后交换特征解码。F首先使用模态不变编码器进行set-level对齐，然后通过最小化每对图像的距离进一步缩小进行instance-level对齐。最后，通过训练具有ReID loss的两个模块，我们可以同时学习模态对齐和身份识别特征。

       论文所述方法通过区别开Modality-specific和Modality-invariant特征（在这里，模态不变特征：包括姿势、性别、服装类别、携带的东西等内容信息。模态特定特征：有服装/鞋的颜色、质地等风格信息。）来实现set-level集级水平的对齐。与传统方法相比，这种直接去除模态特定特征的方式，可有效降低模态间的差异。

结果

创新点

       提出了一种新颖的联合集级和实例级对齐的行人再识别框架。

       文献阅读笔记的翻译是来自于： 学霸视界（xbsj.cool）推荐大家使用，可以免费翻译PDF！