Deep Hashing Network for Efficient Similarity Retrieval

Deep Hashing Network for Efficient Similarity Retrieval

Introduce

这是发表在AAAI-2016的一篇paper，下载地址
在本篇论文之前的监督Hash方法，第一步通过手动学习或者机器学习得到特征向量，第二步学习二进制的Hash Code。然而，这种方法存在明显的缺点，首先提取的特征并不一定完善，并且学习的二进制的Hash Code也有量化的误差。所以作者提出了Deep Hashing Network(DHN)。DHN模型主要从以下四个部分对之前的方法进行改进：

• 使用CNN来学习图像的特征。
• 使用CNN的全连接层来生成二进制码。
• 减少交叉熵损失，使原始空间相似的图片在海明空间也相似。
• 减少量化误差提高Hash Code的质量。
  在下面详细介绍一下改进过程：

Deep Hashing Network

相似性检索中，给定训练集N个points$\{x_i\}_{i=1}^N$，每一个是一个D维的特征向量，$x\in R^D$。每一对特征向量之间有一个相似性的label $s_{ij}$，如果$x_i$和$x_j$相似，$s_{ij}=1$；如果$x_i$和$x_j$不相似，$s_{ij}=0$。我们的目标就是学习到非线性的hashing function $f:x \mapsto h\in \{-1,1\}^K \quad h=f(x)$。
在本篇论文中，作者提出了如下图所示的网络结构，网络的输入是一组$\{x_i,x_j,s_{ij}\}$三元组。

figure1 显示的图片是AlexNet的修改，原始AlexNet网络结构con1-con5是5个卷积层，fc6-fc8是三个全连接层。对于每一个全连接层l总会学习到一个非线性的mapping。

$$z_i^l=a^l(W^lz_{i}^{l-1}+b^l)$$
这里 $z_i^l$是原始的数据 $x_i$在l层的表示， $W^l,b^l$分别表示l-th 层网络的权重和偏置， $a^l$表示激活函数，这里采用了ReLU函数 $a^l(x)=\max (0,x)$。由于需要将原始的数据映射为K维的hash code，作者修改了网络的第8层，将AlexNet的fc8的softmax classifier变成了有K个隐节点的fch layer。 $h_i=z_i^l,l=8$ 。为了保证fch layer的输出的范围在[-1,1]之间，作者将该层的激活函数修改为 $a^l(x)=tanh(x)$。为了保证fch layer输出的hash code 性能良好，需要保持hash code 和原始的S中相似性一致，并且输出的二进制码量化误差最小。
一对二进制码 $h_i$和 $h_j$，海明距离和内积之间有以下的性质
$$dist_H(h_i,h_j)=\frac{1}{2}(K-\langle h_i,h_j \rangle)$$
图像的label已知的，通过label可以得到相似性的矩阵 $S=\{s_{ij}\}$，那么最好的目标就是在相似性矩阵已知的情况下，根据贝叶斯公式可知，后验的概率与先验概率和似然函数的乘积正相关：

logp(H|S)∝logp(S|H