跨模态行人重识别：RGB-Infrared Cross-Modality Person Re-Identification（2017 ICCV）

RGB-Infrared Cross-Modality Person Re-Identification

Abstract

1、提出了RGB-IR跨模态ReID问题。
2、贡献了名为SYSU-MM01的多模态数据集（包括来自6个摄像机的491个身份的RGB和IR图像，总共提供287,628个RGB图像和15,792张IR图像）。
3、评估了三个常用的神经网络结构：单流、双流和不对称FC层。
4、提出了Deep Zero-Padding（深度零填充）用于训练单流网络。

一、Introduction

行人重识别（ReID）是视频监控的重要领域，在该领域已经提出了许多有效的方法，其中包括特征学习、距离度量学习、端到端学习等方法。但大多数方法都应用于RGB-RGB单模态下，但在光纤不佳（夜晚）情况下，RGB图像变得毫无意义，因此有必要研究涵盖24小时的RGB-IR交叉模态行人重识别任务。

RGB-IR的ReID是一个非常有挑战性的任务。首先RGB和IR在图像构成上差异巨大，RGB图像具有三个通道，包含颜色信息，而IR只有一个通道，其中包含红外信息，因此可以将它们视作异构数据。其次，**从成像原理上看，RGB和IR图像的波长范围是不同的，所以仅仅通过颜色信息无法很好地进行分类和匹配。此外，在单模态下的行人图像也具有姿态、光照、摄像机视角不同带来的类内差异。**尽管有一些使用IR图像的ReID方法，例如Jungling等，但他们仅考虑针对IR的单模态匹配，而没有考虑跨模态任务。

对于跨模态ReID任务，特定于域的网络模型构建和如何提取两模态的共性特征匹配十分重要。大量的实验证明了深度零填充的有效性，经过比较，它优于手工特征提取方法和传统的深度学习网络。

二、SYSU-MM01

（1）SYSU-MM01包含6个摄像机捕获的行人图像，其中2个IR摄像机（cam3，6），4个RGB摄像机（cam1，2，4，5）。
对于每个行人，至少有400个不同姿态和视角的RGB图像和IR图像。cam1，2，3为indoor，cam4，5，6为outdoor。发现IR图像丢失了颜色信息，并且由于单通道缘故，丢失了大量纹理信息。

（2）SYSU-MM01数据集中有491个ID，其中296个ID用于训练，99个用于验证，96个用于测试。在训练过程中，296个ID的所有图像都得到应用。在测试过程中，RGB图像作为gallery，IR图像作为query。

（3）设计了两种模式，All Search和Indoor；对于All Search模式，RGB摄像机下cam1，2，4，5用于gallery，而IR摄像机下cam3，6用于query，对于Indoor模式，cam1，2用于gallery（不包括室外的cam4，5），cam3，6用于query，Indoor挑战性略小。给定query图像，通过计算query图像与gallery图像之间的相似度来进行匹配，请注意，匹配是在不同位置的相机之间进行的，例如cam2和cam3都属于indoor，因此cam3的query将跳过cam2的gallery图像。计算相似度后，我们可以根据相似度的降序获得排名列表。性能评估指标采用CMC和mAP，将上述评估重复10次，最后计算出平均性能。

三、跨模态网络比较

绿色表示共享参数，红色和蓝色代表特定参数。

1、One-stream：只有一个输入，如图中第一个网络所示，所有参数在网络中共享。
2、Two-stream：有两个输入，分别对应RGB和IR图像，在较浅的层中，网络的参数是对应于特定域的，而在更深的层中，使用共享参数。
3、非对称FC层：该设计共享除最后FC层以外的所有参数，假设不同域的特征提取可以采用相同参数，并且在特征级别可以实现域自适应。
4、Deep Zero-Padding：使用单流网络，所有图像变为2通道，其中，RGB图像先转为灰度放置在通道1，然后零填充放置在通道2；对于IR图像，将其放置在通道2，将零填充放置在通道1。

作者对单流和双流网络进行了分析，并将零填充网络应用到单流网络中，通过设定节点参数的方式对节点进行选择性失活，如图所示，绿色节点表示学到了共享特征。

四、结论

分析：通过RGB灰度化的方式可以一定程度上消除颜色信息带来的影响，但是全部灰度化是把双刃剑，零填充实际上并未完全利用到所有信息，叶茫等人的论文认为颜色信息同样对匹配起到好的作用。

最后附上论文链接，需要请自取：https://openaccess.thecvf.com/content_ICCV_2017/papers/Wu_RGB-Infrared_Cross-Modality_Person_ICCV_2017_paper.pdf
代码链接：https://github.com/InnovArul/rgb_IR_personreid