论文笔记004：[ICCV2019]RGB-Infrared Cross-Modality Person Re-Identification via Joint Pixel and Feature A

论文地址

项目主页

---

摘要

夜间行人重识别在视频监控、安防等领域有着重要的应用，但是该问题却没有被很好的解决。这主要是因为夜间红外行人图像和日间彩色行人图像之间存在巨大的模态差异，这种差异使得跨模态图像匹配变得更加困难。为了解决夜间行人重识别的问题，本文创新性的提出了像素对齐（Pixel Alignment）的思路来缓解模态差异问题，并提出联合判别（Joint Discriminator）的策略来保持对齐过程中的身份一致性。该方法在目前最具挑战性的夜间行人数据集上，显著高于其他最好方法10%以上。

---

背景

行人重识别。行人重识别（Person Re-Identificaton）在视频监控、安防、智慧城市等领域有着举足轻重的作用。它具有类内差异差大（同一个人表观特征可以非常不同），类间差异小（不同的人表观特征可以非常相似）等难点。这主要是由于摄像头拍摄角度，光照差异，行人姿态变化以及遮挡等因素造成的。

$夜间行人重识别$。目前很多行人重识别的算法被提了出来[1,2]，但是这些算法主要研究基于彩色（RGB）图像的日间行人重识别。夜间场景同样是监控、安防等领域的重点领域（注：这里的夜间场景不仅包括单纯夜间行人重识别，更包括跨日夜行人重识别，即如何在给定行人白天/晚上图片的情况下，匹配他晚上/白天的图片）。虽然很多监控控摄像机可以自动从可见光模式（visible mode）转化成红外模式（infrared mode），并分别采集到彩色（RGB）图像和红外（Infrared）图像，但是目前很多优秀的行人重识别算法并不支持这种彩色-红外图像之间的匹配。这主要是由于彩色（RGB）和红外（Infrared）图像之间存在巨大的模态差异（modality gap）。如图1所示，RGB图像有3个通道，包含着彩色信息。而红外图像只有1个通道，包含着不可见光信息。

夜间行人重识别未被很好解决。为了能够更好的讲行人重识别算法应用在夜间场景，一些相应的目前的彩色-红外跨模态行人重识别算法（RGB-IR Person Re-Identification）被提了出来，来解决这种不同性质图片之间的模态差异。目前，这些方法的主要策略是特征对齐（feature alignment），即通过一些网络结构、损失函数设计，把两种不同的数据映射到一个特征空间，来减少他们的模态差异（modality gap）。但是从实际效果来看，由于两种数据的差异巨大，单一使用这种方法无法较好的解决夜间行人重识别问题。如下表所示，即便是目前最优异的算法，它的rank-1性能在夜间场景下只能达到27.9%，而在相应的日间场景下，可以轻松到达90%。

---

方法

1.像素对齐模块：从像素级别缓解模态差异。一个解决思路是通过一个像素对齐模块（Pixel Alignment Module）把RGB图像合成虚拟的infrared图像，然后再匹配虚拟的infrared图像和真实的infrared图像。这样，原本存在于RGB和infrared图像之间的模态差异就可以被虚拟的infrared图像缓解。

2.联合判别模块：考虑身份一致性，保证模态对齐不会引入新噪声。尽管如此，我们仍然面临一个棘手的困难，那就是行人重识别是一个Zero-Shot问题，即测试标签和训练标签是不重合的。因此，在训练过程中，像素对齐和特征对齐模块均无法通过简单的拟合训练集合的标签，来确保推理过程的身份一致性。比如，在特征空间，行人A的彩色数据可能会被对齐到行人B红外数据。这种情况下，虽然模态差异减少了，但是身份信息却丢失了，最终无法进行正确的行人重识别。为了解决上述问题，我们