Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification

基本信息:

论文标题：Frequency Domain Nuances Mining for Visible-Infrared Person Re-identification
作者：Yukang Zhang, Yang Lu, Yan Yan, Hanzi Wang, Xuelong Li
机构：厦门大学信息学院福建省感知与计算智能城市重点实验室，中国教育部多媒体可信感知与高效计算重点实验室，西北工业大学

论文概述

可见光-红外人物重识别（VIReID）的关键在于如何减小可见光图像和红外图像之间的模态差异。现有方法主要利用空间信息，而忽视了区分性频率信息。为解决这个问题，本文从频率域的角度减小模态差异。具体来说，我们提出了一种新颖的频率域细微特征挖掘（FDNM）方法来探索跨模态频率域信息，主要包括一个幅度引导相位（AGP）模块和一个幅度细微特征挖掘（ANM）模块。这两个模块相辅相成，共同探索频率域可见光-红外细微特征，从而有效减小频率域中的模态差异。此外，我们提出了一种中心引导细微特征挖掘损失，以鼓励ANM模块在发现多样跨模态细微特征的同时保留区分性身份信息。据我们所知，这是第一项探索VIReID研究中潜在频率信息的工作。大量实验证明，所提出的FDNM在提高VIReID性能方面具有显著优势。具体来说，我们的方法在室内搜索模式下，分别在SYSU-MM01数据集的Rank-1准确率和mAP上优于第二好的方法5.2%和5.8%。此外，我们还验证了我们的方法在具有挑战性的可见光-红外人脸识别任务上的有效性和泛化能力。代码将开源。

背景与动机

论文背景:

见-红外人员再识别（VIReID）是一项具有巨大潜力的监控系统任务，其关键在于如何减小可见光和红外图像之间的模态差异。

过去方案

过去的方法主要利用空间信息来减小模态差异，但忽略了频域中的判别性信息。

论文的Motivation

频域特征学习在不同任务中展示了强大的优势，但在可见-红外人员再识别任务中尚未得到充分利用。通过观察可见光和红外图像在频域中的差异，本文提出了一种频域细微差异挖掘方法，旨在减小模态差异并挖掘交叉模态的细微差异。

核心方法:

a. 理论背景:

本研究提出的频域细微差异挖掘（FDNM）方法旨在减少可见光和红外图像在频域中的模态差异，用于可见红外人物再识别（VIReID）。该方法由两个关键模块组成：幅度引导相位（AGP）模块和幅度细微差异挖掘（ANM）模块。AGP模块从幅度分量中提取关键信息，引导相位分量的学习，提高其判别能力。ANM模块探索幅度分量中的跨模态细微差异。引入中心引导的细微差异挖掘损失，以鼓励ANM模块发现稳健的可见红外细微差异。通过将这些模块组合成端到端网络，FDNM方法有效地减少了可见光和红外图像之间的模态差异。

b. 技术路线:

利用快速傅里叶变换（FFT）分析频率内容，通过幅度和相位成分捕捉全局感受野，满足VIReID任务对有效长距离依赖建模和提取模态不变特征表示的需求。 b. 技术路线：
提出了幅度引导相位（AGP）模块和幅度细微特征挖掘（ANM）模块，共同减少可见光和红外图像在频域内的模态差异。
提出了中心引导细微特征挖掘损失（center-guided nuances mining loss），以鼓励ANM模块在发现跨模态细微特征的同时保留判别性身份信息。 c. 核心贡献：
提出了一种新的频域细微特征挖掘方法，利用幅度和相位信息提高VIReID任务的性能。
提出了AGP模块，利用幅度成分的关键信息引导相位成分学习判别特征表示。
提出了ANM模块和中心引导细微特征挖掘损失，充分挖掘幅度成分中的跨模态细微特征。

c.核心贡献：

• 提出了一种新颖的频域细微特征挖掘（FDNM）方法，专门针对可见光-红外（VI）行人重识别（VIReID）任务，从频域角度出发，有效减少可见光和红外图像之间的模态差异。
• 设计了幅度引导相位（AGP）模块，通过利用幅度成分中的关键信息来引导相位成分，增强了模型学习判别性特征表示的能力，从而提高了跨模态信息的识别准确性。
• 引入了幅度细微特征挖掘（ANM）模块，配合中心引导细微特征挖掘损失（center-guided nuances mining loss），充分挖掘并利用幅度成分中的跨模态细微特征，增强了模型对身份信息的判别力。
• 在三个公开的VIReID数据集上进行了广泛的实验，证明了FDNM方法在减少模态差异、提高重识别性能方面的显著优势，特别是在室内搜索模式下，相较于现有技术取得了显著的性能提升。

实验结果

a. 详细的实验设置

在三个具有挑战性的VIReID数据集（SYSU-MM01、RegDB和LLCM）上评估了FDNM方法。
使用标准累积匹配特征（CMC）和平均准确率（mAP）作为评估指标。 b. 详细的实验结果：
FDNM在SYSU-MM01数据集的室内搜索模式下，Rank-1准确率和mAP分别比第二好的方法提高了5.2%和5.8%。
在RegDB数据集上，FDNM在可见光到红外模式下的性能超过了第二好的方法2.8%的mAP，在红外到可见光模式下提高了2.1%的Rank-1准确率和3.5%的mAP。
在LLCM数据集上，FDNM在红外到可见光模式下达到了56.6%的Rank-1准确率和62.7%的mAP，在可见光到红外模式下达到了70.2%的Rank-1准确率和55.8%的mAP。

b. 详细的实验结果

总结

本文提出的FDNM方法通过有效利用频率信息，显著提高了VIReID任务的性能。实验结果表明，FDNM在减少可见光和红外图像模态差异方面具有显著优势，并且在具有挑战性的VIReID数据集上取得了优异的性能。

. 缺陷和不足

文中未详细讨论方法在不同光照条件或天气条件下的性能，这些因素可能会影响模型的泛化能力。

可以进一步改进的点：

探索更高效的幅度和相位信息融合方法，以进一步提高模型的鲁棒性和准确性。
研究模型在更多具有挑战性的数据集上的性能，以验证其泛化能力。
考虑将FDNM方法扩展到其他计算机视觉任务中，如多模态图像识别或视频分析，以验证其广泛的应用潜力。