Discrete asymmetric zero-shot hashing with application to cross-modalretrieva离散非对称零样本哈希及其在跨模态检索中的应用

利用成对相似性  提出了一种高效的离散策略

为什么说传统方法忽略成对相似性

传统的方法在处理跨模态检索任务时，通常会忽略成对相似性。这是因为传统方法主要关注单个模态的特征提取和相似度计算，而忽略了不同模态之间的对应关系。

传统方法中，常用的做法是分别对每个模态进行特征提取，例如使用图像特征提取算法提取图像特征，使用文本特征提取算法提取文本特征。然后，通过计算每个模态的特征之间的相似度来进行检索。这种方法没有直接考虑不同模态之间的对应关系，而是将不同模态视为独立的实体进行处理。

然而，跨模态检索任务的关键在于理解和利用不同模态之间的对应关系。成对相似性提供了一个框架，可以通过比较不同模态之间的数据对之间的相似性来捕捉这种对应关系。通过考虑成对相似性，我们可以更好地衡量不同模态之间的相关性，并在检索时找到更准确的结果。

论文主要介绍了跨模态检索技术在多媒体数据大规模增长的背景下所面临的挑战，并提出了一种新的零样本跨模态检索方法，称为离散非对称零样本哈希（DAZSH）。该方法利用多模态数据的监督知识，结合成对相似性、类别属性和语义标签来指导零样本哈希学习。同时，通过将数据特征与类别属性相结合，为每个类别获得语义类别表示，从而有效地捕捉已知类别和未知类别之间的关系，并将已知类别的监督知识转移到未知类别。此外，论文还提出了一种高效的离散优化策略来解决所提出的模型，并在三个基准数据集上进行了大量实验，证明了该方法在跨模态检索任务中取得了有希望的结果。

现有的跨模态检索方法存在以下局限性。(1)他们只考虑可见类别的数据，而忽略了不可见的案例。因此，这些模型是不适合跨模态检索与混合看不见的数据。(2)大多数散列码学习算法忽略了类的属性信息，不利于知识从可见类向不可见类的迁移。(3)现有的零次散列方法不能同时考虑两两相似度、类标签和类属性来训练模型。

本文提出了一种新的零拍散列方法，称为离散非对称零拍散列（DASHH），用于跨模态检索。该方法将成对相似度、语义标签和类别属性集成到一个框架中，以充分挖掘语义信息。它通过联合挖掘数据特征和类别属性来获得每个实例的类别表示向量，从而更好地捕捉可见类和不可见类之间的关系，并实现从可见类到不可见类的监督知识转移。该方法的框架在零镜头跨模态检索任务中展示出良好的性能。本文的贡献包括：（1）提出了一个统一的离散非对称零拍散列码学习框架，将数据特征和类别属性相结合，学习每个模态的属性空间，并通过嵌入标签到属性空间来提高检索精度。（2）使用非对称相似性策略为不同模态生成不同的哈希码，并利用最大似然估计算法探索多模态数据的成对相似性，以解决异质性差距问题。（3）提出了离散优化方案来解决该模型，并进行了复杂性分析。实验结果表明，DASHH方法在不同的检索任务上具有优越性能。

首先使用GloVe方法提取每个类别名称的词向量作为类别的属性。然后，通过将多模态特征与类属性相结合，构建属性空间，为每个类别建立语义类别表示。通过属性空间，可以实现从已见类别到未见类别的知识传递，并更好地捕捉已见类别和未见类别之间的关系。为了改善属性空间的语义信息，将监督信息嵌入属性空间。

同时，DAWARH方法通过结合特征矩阵和类属性矩阵为每个模态构造属性空间，从而实现从可见类到不可见类的知识转移。此外，我们在属性空间学习中加入标签约束，以提高属性空间的可区分性

我们提出的DANOPH方法分为两个步骤：训练和检索。在训练步骤中，将数据特征与类属性组合以学习每个模态的属性空间。然后，提出的DANOHH方法学习的哈希码的每一个模态的成对相似性和属性空间，并获得每一个模态的映射矩阵。在第二步中，我们通过训练步骤中学习的映射矩阵投影查询样本以生成哈希码，然后基于这些哈希码执行检索任务。图1描绘了所提出的DAWIH方法的框架。1)属性空间学习首先，我们提取每个类名的词向量作为每个类的属性。在这个过程中，我们采用GloVe方法[31]为每个类提取300维实值向量，命名为类属性矩阵A。然后，我们的目标是学习一个属性向量引导的嵌入类空间，用于跨模态零次哈希。为了保持每种模态的属性，我们的目标是为每种模态建立属性空间。具体地说，属性空间是通过将多模态特征与类属性相结合来构造的，以获得实例中每个类的语义类表示。由于类属性包含了可见类和不可见类的属性信息，因此由类属性引导的属性空间可以通过类之间的属性连接实现知识从可见类到不可见类的传递。此外，通过学习每个实例的类别表示，可以更好地捕获可见类和不可见类之间的关系。此外，为了提高属性空间的语义信息，我们将监督信息嵌入到属性空间中。因此，我们通过优化以下问题来获得属性空间：