Lightweight Augmented Graph Network Hashing for Scalable Image Retrieval

Lightweight Augmented Graph Network Hashing for Scalable Image Retrieval

1 Introduction

哈希编码旨在将高维数据投影到低维保相似的二进制码中，大大减少数据存储空间的消耗，加快检索过程。由于散列的优点，近年来受到了广泛的关注，并提出了各种大规模图像检索方法。由于无监督深度哈希方法学习哈希函数和哈希码而不需要详细的标注的数据这种依赖，因此它们很好地支持不同规模的图像检索。但是无监督深度哈希难以优化，训练效率低，深度神经网络涉及大量参数，无法提供显式的语义监督。如何减少需要优化的参数数量，同时提高深度网络的语义表示能力，是迫切需要解决的两个重要问题。

本文提出了一种双管齐下的策略来解决现有的无监督深度哈列方法中的两个关键问题。首先，提取了随处可得的辅助语义信息，并将其作为监督器来指导哈希学习的训练过程。另一方面，在辅助语义的帮助下，设计了一个轻量级的网络，以避免深度网络中过多的参数，从而加速训练过程。

其次本文基于提取的辅助语义信息，设计了一个跨模态注意模块，以自适应地减轻深度图像特征的不利影响。此外，还提出了一种基于去噪特征和增强语义图的对抗性正则化图卷积网络，通过重构捕获的语义关系来学习语义增强的哈希码。

2 Method

$X=[x_1,...,x_n]\in R^{d\times n}$，$Y=[y_1,...,y_n]\in R^{c\times n}$，别表示图像特征向量，辅助语义特征向量。$y_{ij}=1$表示$j-th$语义标签和$i-th$图像有联系。

2.1 Cross-modal Attention Denoising

对每个训练集都得${\mathrm{x}}_i$,计算其和所有辅助语义 { y j } j = 1 n \large\{y_j\}^n_{j=1} {yj​}j=1n​的注意力得分得到矩阵${\mathrm{A}}^{att}\in {\mathbb{R}}^{n\times n}$：

$\bar{\mathrm{x}},\bar{\mathrm{y}}$为经过一个线性层后的特征，$[\alpha {]}_{+}=max(\alpha ,0)$。

最后得到：

2.2 Augmented Semantic Graph Construction

使用高斯核函数计算诗句相似度图：

计算图片$i,j$的辅助相似度矩阵：

最后得到相似度矩阵为：

$\mu$为融合参数。

2.3 Hash Code Learning

本文引入了两层轻量级图卷积网络：

$\tilde{\mathrm{s}}={\mathrm{D}}^{-1/2}\mathrm{S}{\mathrm{D}}^{-1/2},{\mathrm{D}}_{ii}={\sum }_j{\mathrm{S}}_{ij}$,

随后得到量化损失：$\mathrm{m}\mathrm{i}\mathrm{n}{\mathcal{L}}_{quan}=||\mathrm{B}-\mathrm{Z}|{|}_{\mathrm{F}}^2$

本文启发式地利用GCN输出的余弦相似性来重构辅助相似度图:$\mathrm{m}\mathrm{i}\mathrm{n}{\mathcal{L}}_{recons}=||\mathrm{k}{\mathrm{S}}^{\mathrm{a}}-[\mathrm{c}\mathrm{o}\mathrm{s}({\mathrm{Z}}^{\mathrm{T}},\mathrm{Z}){]}_{+}|{|}_{\mathrm{F}}^2$ ,新的表示可以看作是哈希码的连续表示，因此将图像之间的相似性转移到哈希码中,节点表示之间的余弦相似性可以反映哈明空间中哈希码的角关系，这些角关系等价于哈希码的汉明距离。。

此外，本文强制让新表示的数据分布匹配真实的数据分布。所以引入了生成对抗网络：

因为引入了辅助语义信息，所以还有对比损失

最终的损失函数形式为：

3 Conclusion

由图可见，本文的检索精确度再前任方法上确实得到了较大的提升，并且由于只引入了两层的GCN和三层的鉴别器，训练效率也比较高。并且作者在消融实验中对比了是否引入语义辅助损失能够带来的相似度的变化十分显著，可见如何构建一个能够良好保持模态内和模态间的相似度关系是检索问题中的一个关键所在。