Homogeneous and Heterogeneous Relational Graph for Visible-infrared Person Re-identification——基线结果很好

Homogeneous and Heterogeneous Relational Graph for Visible-infrared Person Re-identification（可见红外行人再识别的同构和异构关系图 ）

期刊合集：最近五年，包含顶刊，顶会，学报>>网址
文章来源：TIP
官方源码：official code

研究背景

 现有的VI Re-ID方法主要集中于提取图像中的同质结构关系，即局部特征之间的关系，而忽略了不同模态中局部特征的异质相关性。在本文中，通过在单个模态（可见光或者是红外光）中的模态特定图来建模同质结构的关系，然后挖掘与可见光和红外模态的模态特定图形的异质结构相关性。
 简单理解：首先，齐次结构图（HOSG）挖掘出来一对多个节点（局部特征）与可见光或红外图像内的所有剩余节点之间的剩余关系，以学习有效的身份表示。其次，为了找到跨模态身份一致的对应关系，异构图对齐模块（HGAM）用路由搜索的方法测量了两种模态的局部节点特征之间的关系边缘强度。最后，提出跨模态互相关（CMCC）损失来提取可见光和红外图的特征表示的模态不变性，用于计算模态之间的相互信息，并排除语义冗余（不相关的特征我不学）。

问题难点

 VI Re-ID 的挑战主要来自不同相机本质上不同的成像过程导致的模态间差异，以及视角变化和人体姿势不同导致的模态内变化。
 现有方法：1）计算图像之间的欧几里得距离关系，以减轻模式之间的差异；2）从单幅图像中测量局部特征之间的关系，以减少模态内变化。

 文章结合了这两种方法：利用同质和异质结构关系统一结合的图模型（既解决了模态间差异，又减轻了模态内的变化），Overview 中讲解。

论文分析

贡献点如下：

1）设计了有效的 HOSG （结合其他局部特征到每个局部特征来探索身份，即一个节点与所有待定节点之间的关系）和 HGAM （缓解跨模态差异，并对齐细粒度的局部特征）来利用同质和异质的结构关系，这有利于身份表示和跨模态匹配。

2）提出了 CMCC 损失，通过测量两种模态图像中的互信息来挖掘全局特征的不变性。

网络框架

 具体来说，首先构造包括可见齐次图和红外齐次图的齐次图模块（HOSG），以分别寻找两种模态各部分之间的齐次关系。HOSG 通过推理同一图像的各个部分之间的关系来学习区分的有效特征表示；异构图对齐模块（HGAM）引入了跨模态局部关系，旨在促进局部特征的有效对齐；同时，提出了 CMCC 损失函数来调整模态之间的相互信息，以提取模态特征的不变性。这三个组件集成到一个统一的框架中，可以相互促进。

1、 Overview

 作者首先将包含可见图像和红外图像的输入图像一同馈送到由 ImageNet 预训练的 ResNet50 双流特征提取器中，以提取图像特征。

 如图，可见光图像和红外图像分别有 N_visible 和 N_ir 节点，这些节点之间的边缘可以用 N_visible ✖ N_ir 矩阵表示。左上和右下子矩阵用于研究模态内自相关，以便在当前模态内更好地表示，剩下的两个角是研究跨模态相关，可以有效地为跨模态检索服务。

2、 Homogeneous Structured Graph Module

 同质结构模块（HOSG）提取包含由可见光和红外传感器处理表示的身份信息的模态特定特征。在从特征提取器中获得特征后，在 conv 层上进行均匀分割，以学习高维度方面的局部特征，对于每个图像的空间特征，在高维度上对其进行均匀划分，以形成 N 个节点。

 对于可见光或红外模态，设 G（V，E）表示 V 个节点的同构结构图，其中节点 vi ∈ V，边 eij=（vi，vj）∈ E。节点之间的边的初始链接权重是 L2 距离，如下所示：

其中 f（vi）和 f（vj）表示为第 i 个和第 j 个节点特征，i, j ∈ [1, N]。

 
 eij 表示任意节点 vi 和 vj 之间的关系，然而，单个节点对 中 包含的信息不足以研究建模过程中的全局特征。所以，尝试利用一个局部节点 vi 和所剩余节点 vr 来进行相关性确定，一对多关系如下图所示：

 vr 是通过剩余节点的信息聚合获得的：

 
 其次，节点特征的更新，分别为每个f（vi）和f（vr）添加 Gem-Pooling 层，以获得中间特征“-f（vi）”和“-f（vr）”。然后，通过卷积层将
“-f（vi）”和“-f（vr）”融合并与“-f（vi）”相加，得到了具有其他节点信息的特征。利用 ResNet 的思想中的跳过连接来传递关系特征，如下所示：

其中残差 F（·）是由 1*1 的卷积、批量归一化和 ReLU 层组成的，这种更新方式考虑了与其他节点的相关性，使其更具鉴别性，同时保留了个人身份的紧凑特征表示。

3、Heterogeneous Graph Alignment Module

 为解决两种模态图像之间的噪声信息带来的干扰，文章利用异质结构的关系来寻找跨模态节点之间最明显的相关性。例如，与其他身体部位相比，可见光和红外图像中的人的头部可能具有更高的直觉对应性，这会有效的去除对齐冗余。

 文章构造的异构图对齐模块（HGAM）来挖掘最具鉴别性的联系 ei，j =（vi，vj），即异构相邻矩阵的minimum energy。具体来说，在通过测量节点特征之间的归一化欧几里得距离来获得异构相邻矩阵之后，我们的目标就变成了搜索端到端路径的问题，如下图所示：

 作者将异构局部特征对齐的过程视为节点路径搜索的过程，以任意节点为起点，搜索异构图的最短路径，然后到达节点将作为开始并重复这一步骤，直到遍历两个图的所有节点，最短路径搜索的方法类似于 Dijkstra 算法。

 将两个图之间的局部距离定义为矩阵A _i2v 中从（1，1）到（H，H）的最短路径的总距离，如下图：

类似于 Dijkstra 算法：

其中S _i，j是当在相邻度量A _i2v 中从（1，1）走到（i，j）时最短路径的总距离。S _H，H 是两个图之间的最终最短路径的总距离（即局部距离）。

 这种最短路径搜索算法从类内的两幅图像中计算局部特征之间的相关性，可以有效地在同一个人的不同图像之间进行特征对齐，从而避免两幅图像之间的噪声信息干扰。

4、 Loss Function

 文章利用互相关矩阵 X，该矩阵是从全局特征的固有属性互信息中获得的，计算如下：

其中 i 是第 i 个单位信息，T 表示矩阵的转置，fvisible（·）和 finf-rared（·）分别表示两种模态的 HOSG 的全局特征，Xii 是模态之间的互相关矩阵，它是在一致性检索中图的全局特征表示的一致性。CMCC 损失 Lcc 优化了模态间关系，如下所示：

其中 M 是身份信息的数量，α 是一个积极的增效因素，通过最小化 Lcc，它使 Xii 接近1，Xij 接近0。接近于 1 的目的是为了增强同一类内两种模态的特征之间的相关性，这 提高了特征的代表性。类似的，接近 0 意味着减少第 i 类和第 j 类之间的相关性，从而减少图表示中的冗余信息。

 在训练阶段，使用三种类型的损失函数来约束 HOSG 和 HGAM，包括身份损失 Lid、三元组中心损失 Ltc 和互相关损失 Lcc。同一性损失 Lid 鼓励同一性不变的特征表示，而三元组中心损失 Ltc 优化了模态之间不同图像之间的三元组关系。因此，最终总损失可以表示为：

实验结果

消融实验：

总结

 本文提出了 HOSG 和 HGAM ，通过构建可见和红外图结构，在 VI Re-ID 的统一框架中建模均匀和异质结构关系。特别地，HOSG 利用一对多节点之间的关系，重新考虑全局判别恒等式表示中每个节点的特征表示。HGAM 采用路径搜索算法，对两种模式的局部特征进行匹配。此外，CMCC测量了两种模态图像中的互信息，增强了全局特征的不变性，从而减少了特征的冗余信息。大量的实验验证了提出的方法的有效性。