行人重识别之RGB-Infrared Cross-Modality Person Re-identification via Joint Pixel and Feature Alignment

简介

paper：https://arxiv.org/abs/1910.05839

本文作者关注到RGB图像与IR图像之间存在的交叉模态变化，针对这一问题提出这种新颖的端到端对齐生成网络(AlignGAN)。

方法可以概括为使用循环GAN网络生成与真实RGB图像对应的虚拟IR图像，再将假的IR图像与真实的IR图像做验证。

怎么感觉就是做了个验证问题？

提出的创新点：
1、联合利用像素对齐和特征对齐。(首次)
2、模型由像素生成器、特征生成器和联合鉴别器，三要素之间进行大小博弈。缓解跨模态和模态内的差异，能够学习到身份一致性。

主要问题

夜间红外行人图像和日间可见光行人图像之间存在巨大的模态差异，这种差异使得跨模态图像匹配变得更加困难。

传统方法通过特征表示学习来弥补跨模态和特征对齐之间的差异，基本思想是通过特征表示学习来匹配真实RGB和IR图像。由于两者存在较大的交叉模态差异，因此很难在共享的特征空间中准确地匹配RGB和IR图像。

模型结构

1、像素对齐模块 Pixel Alignment Module

从像素级别缓和模态差异

作用是把RGB图像生成虚拟的Infrared图像。

参考CycleGAN方法，模块包含两个loss：cycle loss循环损失 和 ID损失(cls + tri)，循环损失使得生成的图片能够保持原有的多结构和内容，ID损失使得生成的图片尽可能保持原始图片的身份信息。Loss如下：



公式(4)为最终loss，其中λcyc 和 λid分别为对应的权重。根据交叉验证λcyc设置为10，λid设置为1.0。

2、特征对齐模块 Feature Alignment Module

尽管像素对齐模块可以减少模态间(cross-modelity)差异，但是这里仍然存在着很大的模态间(intra-modelity)差异。这种差异主要由姿态、视角以及光照等因素造成。

为了解决这个问题，作者提出了特征对齐模块，把真实的IR图像和生成的虚拟IR图像映射到同一个特征空间，并使用身份标签的分类和三元组损失来监督。Loss如下：

这里第二个是上面像素对齐模块的loss：Lgan


公式(6)为最终损失。

3、联合判别模块 Joint Discriminator Module

考虑身份一致性，保证模态对齐不会引入新噪音。
在训练过程中，像素对齐和特征对齐都无法通过简单的拟合训练来确保身份一致性。
为了解决这个问题，作者提出联合判别模块，通过最小化RGB和IR图像-特征对之间的差异。简单的说就是只有图像和特征的标签属于同一个ID，联合判别模块才能判断为真。

输入图像-特征对真实(Xir，Mir)和虚拟(Xir，Mir)`。Loss为：

最终损失为：