Hierarchical deep semantic hashing for fast image retrieval

       本文主要是采用基于分层的思想进行模型构建，结合了概率语义层面相似（Probability-based semantic-level similarity）和哈希层面相似（Hashing-level similarity）。

摘要

       为解决大规模图像检索中效率和精度的问题，本文提出了一种分层的深度语义学习模型。本文的核心思想是基于语义分层，在大规模图像检索中利用层次信息是最重要的事情之一。表示潜在语义标签概念的binary code可以通过深度神经网络获得。首先，与之前的通过图像特征映射到hash code的其他监督学习方法不同的是，我们的方法学习了分层深度语义哈希编码（Hierarchical Deep Semantic Hashing code ，HDSH-code），并且图像表示采用了一种隐含方式。此外，采用了一种新型的hash机制（哈希编码与语义信息同时生成），从而减少了检索的复杂度。最后，在Holidays, Oxford5k/105k, Caltech256三个标准数据集上进行了实验，HDSH 模型表现出来有竞争力的性能，在Holidays上检索时间为0.15ms，在Imagenet上检索时间为53.92ms。

本文的主要思想和贡献

       为解决CNN不能直接产生紧凑的binary code这个问题，本文采用CNN模型同时学习语义信息和binary表示，从而提出了分层深度语义哈希模型（Hierarchical Deep Semantic Hashing，HDSH）。在基于分层架构的图像语义信息基础上如何融合人类先验知识。例如，对于某一张包含语义标签““Monkey”的图片，通过预先设计好的分层模型可以让我们知道，相比包含a “house” or a“person”的图片，含有Lemur”的图片是更相似的。基于此，我们可以丢弃那些属于无关语义类别的图像。

        一旦语义层面相似确定好了，下面的问题就是如何进行有效的检索，本文介绍了一种新的哈希学习策略。在没有任何的哈希索引情况下，保证有竞争力的检索准确度的前提下，在Imagenet数据集上的每次检索可以达到50ms以内。事实上使用索引可以更加有效的提高检索效率，此问题不在本文的研究范围内。

      本文的主要贡献包括如下：

1、提出了一种简单并且有效的监督学习框架来进行快速的图像检索；

2、通过对于传统的网络模型进行细微更改，我们的网络可以同时学习到概率语义层面相似（Probability-based semantic-level similarity）和哈希层面相似（Hashing-level similarity）进行图像表示。

3、利用语义层次进行类似的图像检索可以减少检索空间。

4、采用一种简单而且新颖的方法来解决样本少而且不平衡的问题。

5、学习到的分层binary code是非常稳定的，相比之前state-of-the-art methods，当减少特征维度时性能衰减并不是很明显。

Exploiting hierarchy for retrieval

1.Similarity strategy

评价两张图片之间的相似性分为两个步骤。一个为如何有效的表示数据；另一个为如何快速地计算相似性。基于此，有如下定义：

哈希函数h()：表示从D维空间映射到哈希编码。

一组图片集合和其标签:，其中语义标签关于每张图片，我们的目标是学习一个哈希函数h可以将图片x映射到哈希编码h(x)，同时保持其语义c。我们希望D可以代替the new pairwise data来表示图像以及标签，同时没有任何的语义损失。

对于给定的一组图片a和b，我们可以用表示其低层的表示，因此我们可以定义其相似度：