19 CVPR之ReID:Learning to Reduce Dual-level Discrepancy for Infrared-Visible Person Re-identification

Learning to Reduce Dual-level Discrepancy for Infrared-Visible Person Re-identification

目前的问题：
由于RGB-IV的ReID任务中，除了视点变化、姿态变化和变形所造成的人的外貌差异外，还有由于光谱相机成像过程的不同而产生的额外模态差异，以前的方法尝试使用特征级约束同时减少外观和模态差异。然而，仅使用特征级约束很难消除混合的差异。
从左图可以看见跨模态的差异比同模态差异大，右图说明了跨模态问题要比同一模态问题复杂的多。

由于它们是以不同的方式拍摄的，因此红外图像和可见光图像有着截然不同的外观。因此，将它们直接映射到特征空间是无效的。为了解决这一问题，本文提出了一种新的双级差分约简学习方法。为了减小模态差异，训练了一个像级子网络将红外图像转换为可见光图像。利用图像级子网络，可以统一不同形态图像的表示。在统一多光谱图像的帮助下，训练一个特征级的子网络，通过特征嵌入来减少剩余的外观差异。通过串联这两个子网络并对它们进行联合训练，从而消除模态差异。

网络框架及loss：
本文框架主要采取两步：1)图像级差异减小子网络TI用于减小模态差异;(2)特征级差异减小子网络TF用于减小外观差异。这两个子网络以端到端方式级联。