Generalized Product Quantization Network for Semi-supervised Hashing（用于半监督散列的广义乘积量化网络）

Abstract

         哈希学习由于其存储成本低和搜索速度快，在图像检索方面取得了巨大的成功。近年来，利用深度学习优势的哈希方法已成为人们关注的焦点，并取得了一些积极的成果。 然而，除非昂贵的标签信息足够，否则这些方法不能达到预期。为了解决这个问题，我们提出了第一个基于量化的半监督哈希算法：广义乘积量化 (GPQ) 网络。我们设计了一种新颖的度量学习策略，可以保留标记数据之间的语义相似性，并使用熵正则化项来充分利用未标记数据的内在潜能信息。我们的解决方案提高了哈希函数的泛化能力，从而克服了检索界以往的限制。大量实验结果表明，GPQ在大规模真实图像基准数据集上取得了最先进的性能。

1. Introduction

包括图像和视频在内的多媒体数据量每天都在成倍增长。因此，从大规模数据库中检索相关内容已成为一个更复杂的问题。快速准确的搜索算法已经有很多种，其中近似最近邻( Approximate Nearest Neighbor，ANN )搜索已知具有较高的检索精度和计算效率。最近的ANN方法主要集中在哈希方案，因为其存储成本低，检索速度快。具体来说，图像用一个只有几十位的二进制值紧凑哈希码(二进制代码)表示，并用于建立数据库和距离计算。

        使用二进制代码表示图像的方法可以分为二进制散列（BH）和乘积量化（PQ）[13]。基于 BH 的方法 [34, 7, 26] 采用哈希函数，将高维向量空间映射到汉明空间，其中两个代码之间的距离可以通过按位异或运算非常快速地测量。然而，BH 在描述数据点之间的距离方面存在局限性，因为它只能产生有限数量的不同值。PQ是一种矢量量化[8]，已被引入，以缓解信息检索中的这一问题[13,6,15]。要执行 PQ，我们首先需要将输入特征空间分解为几个不相交的子空间（编码本）的笛卡尔积，并找到每个子空间的 质心/中心点（码字）。然后，从输入特征向量的子向量中，通过将每个子向量替换为编码本中最近的码字的索引，得到子二进制编码。由于码字由实数组成，PQ允许使用二进制代码在实空间中进行不对称距离计算，使得许多基于PQ的方法优于基于BH的方法。

        伴随着数百万精心标注的数据，基于深度哈希的BH [  35、 18、 11、 12、 14 ]和PQ [  2、 19、 38、 16 ]都引入了以利用深度的表示，进行图像检索。通过采用有监督的深度神经网络，深度散列在许多基准数据集上优于传统散列。然而，仍然有很大的改进潜力，因为大量的具有丰富知识优势的未标记数据 没有被利用。为了解决这些问题，最近的一些方法正在考虑基于 BH [40,36,10] 的深度半监督哈希。然而，即使PQ在有监督和无监督的情况下都普遍优于BH，它还没有被考虑用于半监督方式的学习。在本文中，我们提出了第一个基于PQ的深度半监督散列方法：广义乘积量化 (GPQ) 网络，在大量的图像数据和每个类别(类)只有几个标签的情况下，显著地提高了检索的准确性。数据和每个类别（类）只有几个标签的情况下，显著提高了检索精度。