论文阅读11 | RegDB

论文：Person Recognition System Based on a Combination of Body Images from Visible Light and Thermal Cameras，该篇可以认为是第一篇结合红外图和RGB图的论文。

出处：Sensors 2017

1. 摘要

人体包含了可用于人体识别问题的身份信息。在本文中，我们提出了一种使用从身体图像中提取的信息的行人识别方法。与以往的研究相比，我们的研究创新点表现在以下三种方面。首先，我们使用了两种不同相机拍摄的人体图像，包括可见光相机和热敏相机，使用这两种不同类型的身体图像有助于我们减少其噪音、背景和人体外观的变化。（可见，最早这个数据集的提出并不是为了解决跨模态的gap问题的，而是用于辅助RGB图像中行人重识别任务）。其次，我们将最先进的卷积神经网络(CNN)应用于图像特征提取，以克服传统的手工设计的图像特征提取方法的弊端。最后，利用从身体图像中提取的图像特征，通过测量输入样本（recognized images）和登记样本（enrolled images）之间的距离来执行识别任务。

2. 总框架

首先，使用一个可见光和一个热敏相机拍摄，获得同一时刻的两种图像。
再次，使用行人检测器检测并且定位人的区域。
其次，使用深度学习方法CNN来进行图像特征提取。
然后，使用PCA减少特征维度，消除特征的冗余。
最后，红外特征和可见光特征被连接在一起，被用来描述输入行人的身体。通过衡量enrolled图像特征和所有输入的recognized图像特征之间的距离，识别出行人。

通过这种方法，同一行人的图像特征会比不同行人的图像特征要小。

3. RegDB数据集

数据集描述

为了评估提出的人体识别方法的性能，我们使用一对可见光-红外相机，同时捕获人体的可见光和热图像，建立了一个新的数据库。数据集一共有412个person，对于每个人，我们捕获了10个可见光图像和相应的10个热图像，因为这些图像是在人们移动时拍摄的，所以每个人的10张图像在身体姿势、捕捉距离和光照条件上都存在差异。然而，在同一人的10幅图像中，相机的天气状况、视角和拍摄视角（前后视角）都是相同的。因此，数据库包含4120个可见光图像和4120个对应的热图像。

在412人中，有女性254人，男性158人。此外，正面拍摄了156人，其余256人。该数据集图像小，清晰度较差，每个身份的RGB图像和热图的姿态都是一一对应的，并且同一个身份在姿态上变化很小，这些因素都降低了该数据集RegDB上的跨模态行人重识别任务的难度。下图，显示了我们收集的数据库中的一些示例图像对。

结合热图像的好处

① 热图像中身体与背景的区别性大于可见光图像，这可以更容易检测行人区域；

② 热图像显示了身体形状的信息，捕捉身体姿势，提供了使用热图像检测和识别的能力；

③ 衣服的细节纹理、颜色和灰色信息在热图像中消失，这可以使识别对衣服的变化和环境的变化保持鲁棒。

评估协议

由于RegDB数据集最初不是用来做跨模态的，作者只是想使用热图像来辅助RGB图像训练ReID任务，所以原始文章并没有说明如何使用。在跨模态行人重识别中，对RegDB数据集的使用，以下这种方法使用较多。

• 在训练时随机选择206个ID，剩下的206个ID用做测试。
• 并且分别评估用RGB图查询IR图，用IR图查询RGB图的性能。
• 这样随机划分10次，取平局值即为最终的性能。