论文阅读之 Person Re-identification using Heterogeneous Local Graph Attention Networks

文章题目为基于异构局部图注意网络的再识别，提出了HLGAT，在一个统一的人Re-ID框架中建模局部间关系和局部内关系。将图卷积网络与注意力机制相结合，实现对行人重识别问题的研究。

1. 摘要

现状：最近，一些研究者通过研究行人图片各部分的局部关系来研究行人重识别。
然而，现在的研究仅研究了单张行人图片中的各部分的内在局部关系，而忽略了不同图片各部分相互对应的局部关系。这是不完整的局部关系信息。

解决办法： 提出了 异构局部图注意网络 (HLGAT) 。在完整的局部图中，同时建模图片内部各部分的局部关系（局部内关系） 和 图片间相互对应各部分的局部关系（局部间关系）。

具体实现： 使用局部特征构建完整的局部图，在学习局部内关系 和 局部间关系的过程中，使用注意力机制来突出不同局部特征的重要程度。为了更精确地描述 局部间关系，提出 注意力正则化损失 来限制局部特征的权重。对于局部内关系，考虑到结构信息，提出向注意力权重中加入上下文信息。

解决效果： 在Market-1501、CUHK03、DukeMTMC-reID和MSMT17上的大量实验表明，提出的HLGAT方法是最先进的方法。

2. 主要贡献

• 提出了HLGAT，在一个统一的 Re-ID 框架中建模局部间关系和局部内关系。
• 具体地说，将局部特征作为节点来构建完整的局部图，在此图中同时从不同行人图像中学习到相应和相邻部分之间的局部关系，以及从同一行人图像中学习到不同部分之间的局部关系。
• 为了准确地建模局部关系，我们提出了注意正则化损失来约束局部间关系的注意权值，并提出在局部内关系的注意权值中注入上下文信息。
• 在四个公开可用的person Re-ID数据集上的实验结果证明，所提出的HLGAT方法以压倒性的优势超越了目前最先进的方法。

3. 提出的模型

3.1 关系的定义

局部内关系：同一张行人图片中，各部分间的关系，如虚线所示
局部间关系： 不同行人图片中，相应部分间的关系 和 相邻部分间的关系，如实线所示

下面举个具体例子分析下：
以绿色三角为研究对象，其他绿色的图形都是局部内关系，之间用虚线连接，用 Nsi 表示 。
绿色三角和黄色三角是相应部分间关系，用 Nsp 表示。
绿色三角和黄色圆以及黄色正方形是相邻部分间关系，用 Nap 表示。

3.2 模型结构

主要包括三个部分：特征提取器，图注意力子网，嵌入子网。

• 特征提取器：使用 CNN 将行人图片变为特征图，调整分割策略将特征图分为几个水平的栅格，用全局池化的操作提取局部特征。
• 图注意力子网：将局部特征作为节点来构造完成的局部图，同时学习局部间关系和局部内关系。这些节点由局部间边和局部内边连接。对于图中的每个节点，我们用注意权值对其所有邻居节点进行加权，然后对它们进行聚合，得到两种关系。同时，利用注意正则化损失约束局部间边缘的注意权值，以准确描述局部间关系，并在局部间边缘中加入上下文信息。
• 嵌入子网：使用全连接网络减少图注意力子网提取出特征的维度，并将减少维度后的特征作为预测输出。

4.实验

在 4 个大规模行人重识别数据集 Market-1501 [50], CUHK03 [20], DukeMTMC-reID [28]
and MSMT17 [38] 上进行了实验。

4.1 消融实验

对 局部间关系(记NSP和NAP)、注意正则化损失(记Lar)和局部内关系(记NSI) 等组件进行了消融实验。消融结果如下图所示：

分别从HLGAT中去除局部间关系(记为NSP和NAP)、注意正则化损失(记为Lar)和局部内关系(记为NSI)完成消融实验。

• 通过从不同行人图像的对应部分聚合局部特征来考虑局部间关系NSP。
• 通过整合不同行人图像相邻部分的局部信息，进一步考虑局部间关系NAP。
• 通过除去注意正规化损失Lar，完成消融实验。
• 通过去除局部内关系NSI，完成消融实验。
• 通过验证上下文信息的有效性NSI*，完成消融实验。

4.2 参数分析

对关键超参数：均匀水平网格数P、调节系数K的影响、平衡系数λ的影响，进行了分析。

均匀水平网格数P（P = 8 最优，mAP 和 Rank-1）

调节系数K的影响（ KSP = 1 和 KAP = 0.1最优）
对于局部间关系，当节点属于邻居节点集NSP时用KSP表示，当节点属于邻居节点集NAP时用KAP表示。

对于局部内关系，调节系数s可以控制调节系数K，s = 10 时结果最优。

平衡系数λ控制交叉熵损失和注意正则化损失的重要性，λ 为 0.01 时最优。

4.3 State-of-the-Art 的实验结果

在4个数据集上，将 HLGAT与最先进的方法进行了比较。比较结果验证了 HLGAT 方法的优越性。

参考文献

1. Person Re-identification using Heterogeneous Local Graph Attention Networks