论文笔记001:[ACMMM2019] IlluminIation-Invariant Person Re-Identificaton

作者：

思路：

提出光照不变框架：增强模块+Resnet50

原文翻译：

摘要
由于照明弱等原因，监控摄像头拍摄的人物图像通常会出现颜色变化、对比度低和噪声等各种退化现象。这些退化会导致严重的鉴别信息丢失，从而使人的重识别更具挑战性。然而，现有的人员重识别方法是基于行人图像处于良好光照条件下的假设而设计的，这在现实场景中是不现实的。受Retinex理论的启发，我们提出了一个光照不变的行人重识别框架，该框架能够同时实现Retinex光照分解和行人重识别。我们首先验证了直接使用低光照图像可以极大地降低行人重识别的性能。然后，我们设计了一个自底向上的注意网络来消除微弱的光照的影响，在不引入过度增强的情况下得到增强图像。通过进一步引入联合训练策略，提高低光照条件下的行人重识别能力，实现了低水平和高水平视觉任务的有效结合。实验证明了我们的方法在严重的光照变化和低光照条件下的基准上的优势。

关键词 :行人重识别，视网膜图像增强，低光照，深度神经网络

1引言
近年来，由于深度卷积神经网络强大的表示学习能力，在行人重识别方面取得了显著进展。为了应对视角变化、姿态变化和遮挡带来的挑战，现有的方法一般集中于行人局部特征的提取和匹配。然而，这些方法很少考虑光照变化的影响，主要原因可能是大多数公开的行人重新识别数据集，例如Market-1501和DukeMTMC-ReID，都是在固定的时间段内从有限的区域收集的。因此没有考虑到照明的多样性。而在现实世界中，照明是一个不可忽视的干扰因素。如图1所示，由于不同的照明条件，具有相同身份的图像有不同的外观。特别是弱照度图像会出现颜色偏移、低对比度和噪声。这些退化使行人重识别任务对于人类而言及其困难。
对于这个特定的光照问题，一个简单的解决方案是使用更大的数据集来覆盖尽可能多的照明条件。但是，这种解决方案对于将大量的监控视频标注为支持监督学习是昂贵且不切实际的。另一种解决方案是利用数据增强技术，如颜色抖动和伽马校正。为了更好地模拟现实世界的照明条件，贝克等人收集了各种高动态范围(HDR)环境地图，用于虚拟人的渲染，并建立了一个新的合成数据集SyRI。上述方法可以帮助模型以数据驱动的方式学习光照不变的特征。然而，以这种方式设计的网络架构可能不是最佳的。
与现有的方法不同，我们通过分解光照映射来消除光照变化等问题，同时获得了行人固有图像和光照不变特征，提高了重识别性能。为了达到上述目的，自然要先估计光照。众所周知，从单幅图像中估计光照是一个不适定问题，需要一定的先验和约束条件才能处理。例如，基于视网膜的算法需要满足Lambertian场景假设，光照映射应该是分段平滑的。在以往的研究中，Retinex理论被广泛应用于光照估计和低光增强。通过以数据驱动的方式采用深度卷积神经网络，很多方法取得了与其他非深度学习方法相比具有竞争力的结果。
然而，现有的图像处理和低光增强方法主要集中在提高主观视觉质量上，而不是服务于后续的高水平视觉任务。为了解决这个问题，我们首先设计了一个轻量级的光照估计网络来增强行人图像。然后提出了一种自底向上的注意机制来抑制极端黑暗区域的过度增强。为了进一步结合光照估计和行人重识别这两种不相容的低级和高级视觉任务，我们有意识地构建了一种联合训练策略的网络框架。实验结果表明，该方法与现有的低光重识别方法相比具有很大的优越性。
总之，我们的贡献如下:
•我们为行人重识别领域建立了新的低光图像数据集。基于我们的数据集，我们验证了低光照实际上会降低重识别性能。
•为了获得重识别的光照不变特性，我们设计了一种新的自下而上的注意机制，以避免通常包含在黑暗区域的过度增强。
•我们提出了一种新的cnn框架，用于提高弱照明条件下的行人重识别性能。并引入联合训练策略，将图像增强与行人重识别任务分别连接起来。

图1：在不同光照下的行人图片

2相关工作
近年来，行人重识别包括基于图像的重识别和基于视频的重识别，受到了学术界和工业界的广泛关注。行人重识别的主要困难是如何在由视图、姿态、遮挡、光照等变化引起的干扰下学习一种鲁棒的人物特征。受现有低照度增强方法的启发，本文重点研究了行人重识别任务中的光照问题。在接下来的小节中，我们将简要回顾一下行人重识别和低照度图像增强的最新进展。
2.1 行人重识别
大多数行人重新识别方法通过结合全局和局部特征，集中于减少各种姿势和视角的不利因素。具体而言，局部特征建模的方法通常包括明确提取身体部位的区域，基于注意力的隐式局部特征学习，启发式预定义图像分割，例如网格和水平步幅，其通常伴随着区域间对齐的步骤。由于粗略的边界框部分检测，Kalayeh等人使用语义解析网络来执行像素级身体区域提取。受注意机制的启发，赵等人通过利用行人之间的相似性来学习部分对齐的局部特征表示，而无需额外的监督信息。孙等通过分割水平条纹提取