阅读小结:Deep Hashing Network for Efficient Similarity Retrieval

作者:Han Zhu, Mingsheng Long, Jianmin Wang and Yue Cao
论文地址:https://pdfs.semanticscholar.org/eb0c/64244dcf238a2cbf479ab2fdc9047fc80bc5.pdf

What:
1.特征没有和量化一起优化,所以特征不一定兼容后续的量化操作。
量化损失也没有统计上的最小。

2.提出了Deep Hashing Network (DHN) 由四个成分组成:
a. CNN来提取图像特征
b. 一个全链接层来产生binary的哈希编码
c. pair-wise 的 cross-entropy loss 来保证相似度
d. quantization loss 来控制哈希质量

3.测试数据集为NUS-WIDE (195,834 21类 256*256),
CIFAR-10 (60,000 10类 32*32),
Flickr (25,000 38类 256*256)

How:
1. 加了一个fch层来做量化, 实质是 先用了 tanh 做一个粗的量化。
2. 然后给了一个量化 loss(公式6) 主要是取绝对值以后 要和1接近。因为量化目标本来就是得到一个 h属于{-1,1}的。
3. 由于公式6 non-smooth 所以将 1范数 改成了 log cosh(x)
y=||x|-1|

y = log(cosh(|x|-1))
4. cross-entropy loss 而不是 contrast loss
5. Table2可以看出两点: CIFAR10还是不稳定,3%其实差不多。square loss确实可能不好,需要调。
6. DHN-Q是没有量化loss,但是最后也加了量化sgn。所以效果差了。 一般来说直接来学,用float 是不会差的。应该好于DHN-B .

"Deep Hashing for Compact Binary Codes Learning" 是一篇关于深度哈希学习的论文。该论文提出了一种用于学习紧凑二进制码的深度哈希算法。以下是该论文中深度哈希算法的公式推导过程: 1. 首先,给定一个训练集 $\{x_i\}_{i=1}^n$ 和它们的标签 $\{y_i\}_{i=1}^n$,其中 $x_i$ 是输入数据,$y_i$ 是输出标签。 2. 然后,利用神经网络学习一个将输入数据映射到二进制码的哈希函数 $h(x_i)$,其中 $h(x_i)$ 是一个 $k$ 位的二进制向量,$k$ 是哈希码的长度。 3. 在深度哈希学习中,我们使用多个哈希函数来生成多个二进制码。因此,我们学习 $m$ 个哈希函数,每个哈希函数对应一个二进制码 $B_j$。 4. 对于每个输入数据 $x_i$,我们得到 $m$ 个哈希码 $B_j^i$,其中 $j=1,2,...,m$。 5. 然后,我们将这些哈希码组合成一个紧凑的二进制码 $b_i$,即 $b_i = [B_1^i, B_2^i, ..., B_m^i]$。 6. 确定损失函数,使得学习到的二进制码可以最大程度地保留数据之间的相似度。 7. 定义损失函数 $L$,其中 $L$ 由两部分组成:量化损失和分类损失。 8. 量化损失用于衡量哈希码的质量,分类损失用于保留数据之间的相似度。 9. 量化损失可以表示为:$L_{quan} = \sum_{i=1}^n\sum_{j=1}^m\frac{1}{2}(B_j^i - h_j(x_i))^2$,其中 $h_j(x_i)$ 是第 $j$ 个哈希函数的输出。 10. 分类损失可以表示为:$L_{cls} = -\sum_{i=1}^n\sum_{j=1}^n w_{ij}y_iy_j\log\sigma(b_i^Tb_j)$,其中 $w_{ij}$ 是样本 $i$ 和 $j$ 之间的相似度权重,$\sigma$ 是 sigmoid 函数。 11. 最终的损失函数可以表示为:$L = \lambda L_{quan} + L_{cls}$,其中 $\lambda$ 是量化损失的权重。 12. 在训练过程中,我们使用反向传播算法来优化损失函数,学习到最优的哈希函数和二进制码。 这就是 "Deep Hashing for Compact Binary Codes Learning" 论文中深度哈希算法的公式推导过程。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Layumi1993

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值