Supervised Discrete Hashing

最新推荐文章于 2021-11-05 17:25:18 发布
最新推荐文章于 2021-11-05 17:25:18 发布
阅读量534 收藏 5
点赞数 1
分类专栏： 论文研读 文章标签： 算法
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_44357109/article/details/121094101
版权

Supervised Discrete Hashing

2015 CVPR

  • 问题：
    处理施加在追踪的哈希码上的离散约束，使哈希优化具有挑战性(通常是NP- hard)。

  • 解决：
    提出了一个新的监督哈希框架，其中的学习目标是生成最优的二进制哈希码用于线性分类。
    通过引入一个辅助变量，我们对目标进行了重新模拟，使得它可以通过使用正则化算法来有效地求解，该算法的关键步骤之一是解决与NP-hard二值优化相关的正则化子问题。
    通过循环坐标下降，证明了该子问题具有解析解。
    因此，高质量的离散解最终可以以一种有效的计算方式获得，从而处理大规模数据集。

  • 应用：
    在四个大型图像数据集上评估SDH

  • 传统的算法：

    • 数据无关的哈希：
      LSH是最流行的数据无关方法之一，通过随机投影生成哈希函数，可度量多种距离（欧式、马氏等），缺点是需要较长的位来实现高准确率和召回率，导致存储较大。
    • 数据相关的哈希：
      紧凑的二进制码能有效高效地索引和组织大规模数据
      典型算法：
      线性哈希：unsupervised PCA Hashing、Iterative Quantiza-tion (ITQ) 、Isotropic Hashing、Supervised Minimal Loss Hashing (MLH)、Semi-Supervised Hashing (SSH)、LDA Hashing、Ranking-Based Supervised Hashing、 FastHash
      非线性哈希：BRE、RMMH、KSH、ITQ、SH、AGH、IMH

为了简化二进制码学习过程中所涉及的优化问题，大多数上述方法选择首先通过丢弃离散约束来解决松弛问题，然后对已解的连续解进行阈值(或量化)，以获得近似的二进制解。但是可能由于累积的量化错误而使所得到的哈希函数效率较低。ITO通过正交旋转来减少量化误差，但是它由于使用预先计算的映射来学习正交旋转导致了它不是最优的。

SDH的提出：直接优化二进制哈希码的监督哈希框架

  • 为了利用有监督的标签信息，作者根据线性分类来构建哈希框架，其中学习的二进制码被期望是最适合分类的。更具体地说，学习的二进制码可以看作是原始数据的非线性生成的特征向量。利用标签信息，使这些二值特征向量易于分类。类似于高阶离散增强学习，我们将原始数据非线性地转换为一个二进制空间，然后在该空间中对原始数据进行分类。

  • 为了实现这一思想，作者提出了一个联合优化过程，该过程联合学习二进制嵌入和线性分类器。在这个公式中，一组哈希函数同时被优化以适应学习到的二进制位。为了更好地捕获底层输入数据的非线性结构，这些哈希函数是在内核空间中学习的。然后整个联合优化的过程以迭代的方式执行（和三个相关子问题）

  • 为了解决最关键的子问题——二进制码优化，在监督哈希框架中提出了一个离散循环坐标下降(DCC)算法来逐位生成哈希码。通过为线性分类器仔细选择损失函数，DCC算法以封闭形式产生最优散列位，这使得整个优化过程非常高效，可以自然地扩展到大量的数据集。这种使用了DCC的监督哈希方法称为监督离散哈希SDH。

  • 作者提出了一种新的监督哈希方法，基于好的哈希码对于线性分类是最优的假设。关键技术是不带松弛直接求解相应的离散优化问题。首先，通过引入一个辅助变量，我们重新构建优化目标，使其可以使用正则化方案有效地求解。其次，SDH方法的关键步骤是求解NP-hard二元优化子问题。SDH通过离散循环坐标下降DCC，在每一步求解相关的二进制优化并得到解析解，从而使整个优化非常有效。没有松弛地直接优化离散位对获得高质量哈希码起着关键作用。

SDH的具体分析

目标函数：
在这里插入图片描述
L2 loss形式：
在这里插入图片描述

Hinge loss形式：
在这里插入图片描述

测评

  • 数据集：
    CIFAR-102,
    M-NIST3
    NUS-WIDE
    ImageNet

  • 特征：
    所有的数据样本都被归一化为单位长度
    对比算法：
    监督哈希：BRE , MLH, SSH, CCA-ITQ , KSH, FastHash
    无监督哈希：PCA-ITQ , AGH， IMH with t-SNE

  • 评测指标：
    计算效率和检索性能
    CIFAR和M-NIST：哈希查找Precision(汉明半径的精度)、汉明排名MAP(平均精度的平均值）

  • 实验内容：
    1.首先比较了L2 loss和hinge loss,发现在precision和MAP上二者一致，所以在后续实验中都用L2 loss
    2.比较了针对目标公式，使用离散约束和不使用离散约束的Precision 和MAP，带离散约束的明显好
    3.不同数量锚点在检索性能的比较，发现锚点越多检索性能越好，锚点越多计算成本越高
    4.在CIFAR数据集应用不同算法，SDH的precision和MAP高于同状态的其它算法，且训练费时更少
    5.在MNIST数据集（手写数字）上SDH有更高的precision和recall
    6.在NUS-WIDE数据集（多标签）上当哈希吗长度大于32时SDH取得最高的precision，MAP一直都是SDH最高
    7.在imagenet数据集（高维特征）上SDH的precision取得了最高
    8.在CIFAR数据集上SDH取得了最高的分类精度

薛定谔的大胖笨狗
关注
  • 1
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
论文笔记及公式推导 《Supervised Discrete Hashing》
qq_27245709的博客
10-09 3940
转载自http://jikaichen.com/2016/05/31/notes-on-sdh/，（慎入，这个链接好像是不行了哎）仅用作个人学习，如需删除，请联系本人。 原论文提出了一种解离散哈希问题的最优化方法，推出其闭式解。 笔者在阅读该论文的过程中，理解公式推导的过程中遇到了一些问题，现在将论文公式推导的详细内容记录于此。 原论文链接来自这里http://arxiv.org/pdf/15...
Deep Supervised Hashing for Fast Image Retrieval
yinsuiqiang5136的博客
08-29 3756
摘要 这篇paper中提出了Deep Supervised Hashing (DSH)来进行binary code的学习。主要特点如下：（1）设计了深度CNN模型，training data的输入为图像对（imilar/dissimilar），输出为每幅图像的hash code；（2）loss function 最大化了图像之间的区别，区别是从输入图像编码而成的编码空间；（3）在离散化真实值的输...
图像检索传统算法学习笔记
Puremelo
11-09 5635
图像检索领域传统算法学习笔记 （与组内同学一起找到的一些图像检索传统算法，作一小结，以防忘记） 性能统计: 传统图像检索算法 CIFAR-10数据集mAP值（编码数不同） LSH局部敏感哈希 0.116-0.131 SH谱哈希 0.124-0.126 ...
图像语义哈希方法总结
热门推荐
Francis Li
03-09 1万+
最近在回顾一些经典的图像哈希算法，本文大致介绍了一些常用的图像哈希算法，暂时先列一个框架，待日后补充。参考链接： 【1】基于内容的图像哈希算法研究 【2】图像聚类-谱聚类 【3】球哈希Spherical Hashing部分哈希源码及大牛的链接：图像检索：Hashing图像检索源码及数据库总结一、单模态哈希：LSH (Locality Sensitive Hashing，局部敏感哈希)论文链接：
中科院NIPS 2017论文提出深度离散哈希算法，可用于图像检索
机器之心
11-03 3139
中国科学院提出了一种深度离散哈希算法（discrete hashing algorithm），该算法认为学习到的二值编码应该也可以用于分类。实验结果表明该方法在基准数据集上的表现要好过目前最好的哈希方法。 图 1 深度离散哈希编码示意图 由于网络上的图像和视频数据的快速增长，哈希算法（Hashing）在近几年间引起了极大的关注。由于其较低的计算成本和较高的存储效率
DSH.rar_deep_hashing _supervised
09-25
Deep Supervised Hashing for Fast Image Retrieval
Supervised Hashing with Kernels
07-21
Supervised Hashing with Kernels CVPR2012的文章，挺不错的。
Supervised Hashing with Kernels 代码
07-21
Supervised Hashing with Kernels CVPR2012 作者的源代码
Supervised Hashing with Kernels（KSH）
07-03
Supervised Hashing with Kernels 简单的介绍了KSH（基于核函数的监督哈希） 主要分以下几部分内容 1.Kernel-Based Supervised Hashing 2.Hash Functions with Kernels 3.Supervised Infromation 4.Code Inner ...
视频图matlab代码-single-modal-supervised-hashing-baseline-for-image-retrieva
05-27
视频图matlab代码SSHBIR工具包 什么是SSHBIR？ SSHBIR是一个基准框架工具包，包括10种不同的单模型监督哈希方法，该工具包可以以不同位数绘制每种方法的mAP曲线和时间曲线，可以为所有学习者提供帮助，帮助您在需要...
Hashing图像检索源码及数据库总结
IT小白菜
06-10 4695
下面的这份哈希算法小结来源于本周的周报，原本并没有打算要贴出来的，不过，考虑到这些资源属于关注利用哈希算法进行大规模图像搜索的各位看官应该很有用，所以好东西本小子就不私藏了。本资源汇总最主要的收录原则是原作者主页上是否提供了源代码，为了每种方法的资料尽可能完整，本小子会尽可能的除提供源码下载地址外，还会给出PDF文章的链接、项目主页，slide等。 对哈希方法重新进行调研，右图是找到的提
哈希学习（2）—— Hashing图像检索资源
flowerboya的博客
07-11 8507
哈希方法 公布代码的： CSDSH: Column Sampling based Discrete Supervised Hashing SGH :Scalable Graph Hashing with Feature Transformation [ Paper] AGH: Hashing with Graphs [Paper] [Code] BPBC: Learn
Fast Supervised Discrete Hashing
qq_44357109的博客
11-02 285
Fast Supervised Discrete Hashing 2017 TPAMI 要点： FSDH使用非常简单但有效的回归训练示例的类标签到相应的哈希码，以加速算法； FSDH有一个封闭的解，只需要一个单一的而不是迭代的哈希码求解步骤，这是非常高效的。此外，FSDH求解最小二乘回归投影矩阵的速度通常比SDH快，这使得FSDH通常比SDH快。 传统算法回顾： 数据无关的哈希 不依赖于训练数据，而是在二值化之前使用随机投影将样本映射到特征空间 LSH 数据相关的哈希 无监督哈希 哈希学习
图像检索2：KSH(Supervised Hashing with Kernels)
微风❤水墨
05-06 4633
Supervised Hashing with Kernels   简单的介绍了KSH（基于核函数的监督哈希），文章还是挺不错的，PPT里面有很详细的介绍和推导，下载浏览PPT就可以对这篇 CVPR 2012 的文章有很好的了解了。我没有直接跑原作者的代码。我一般是提取作者的代码，整合放进自己的框架里面调试，调试效果还行，所以原作者 release 的代码应该没有什么问题。在我后续的博文中会有...
离散hash优化总结
MrH929的博客
07-26 4121
离散优化总结 离散优化是一种常见的高效数据结构，它通过建立数据与存储结构（数组）之间（不一定）一一对应的映射关系来达到对复杂数据的优化。 离散优化最重要的一点是建立映射，对于特殊的线段、点而言，这些映射可以是对一个区间的映射，即将某段线或者某块区域映射到数组里面去，从而在计算时降低时间复杂度。 Hash优化：是对于字符串和数字的一种优化方式。它通过将数据映射到数组内的某个元素从而
Online Hashing
qq2285580599的博客
06-11 188
摘要 我们提出了一个在线哈希学习算法。 1，更新的哈希模型被上一次学习的哈希函数惩罚，目的是保持上一轮中 的重要信息。 2，我们也提出了一个累积损失的紧边界。 （至于为什么提出这个紧边界，我也不求甚解，并且代码里面都没有对这个 ...
多模态检索论文总结
Leiroy的博客
11-05 1925
1.年份梯度： 2.从模态定义来看 目标：研究多模态哈希检索。 上述文章其实本质上单模态哈希，跨模态哈希和多模态哈希都有包括。但是我们可以通过窥探他们各自的思想来看看是否对我们多模态的研究提供思路 [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-TgnUazXC-1636104175271)(C:\Users\winter\AppData\Roaming\Typora\typora-user-images\image-20210905231230309.png)] 上述文章中
详细解读Supervised Discrete Multi-view Hashing（SDMH）模型的主要代码，并写出注释
最新发布
06-01
Supervised Discrete Multi-view Hashing（SDMH）模型的代码主要分为以下几个部分：数据处理、模型定义、损失函数、优化器、训练和测试。 以下是SDMH模型的主要代码解读和注释： ```python # 数据处理 class Dataset(Dataset): def __init__(self, data, num_view): self.data = data self.num_view = num_view def __getitem__(self, index): # 获取数据和标签 x = [self.data[i][index] for i in range(self.num_view)] y = self.data[-1][index] return x, y def __len__(self): return len(self.data[0]) # 模型定义 class SDMH(nn.Module): def __init__(self, num_view, bit, num_class): super(SDMH, self).__init__() self.num_view = num_view self.bit = bit self.num_class = num_class # 定义多个视图的哈希函数 self.hash_functions = nn.ModuleList([nn.Linear(4096, bit) for i in range(num_view)]) # 定义多个视图的分类器 self.classifiers = nn.ModuleList([nn.Linear(bit, num_class) for i in range(num_view)]) def forward(self, x): # 计算多个视图的哈希码 hash_codes = [] for i in range(self.num_view): h = self.hash_functions[i](x[i]) b = torch.sign(h) hash_codes.append(b) # 计算多个视图的分类概率 outputs = [] for i in range(self.num_view): c = self.classifiers[i](hash_codes[i]) outputs.append(c) return hash_codes, outputs # 损失函数 class SDMH_Loss(nn.Module): def __init__(self, alpha, beta): super(SDMH_Loss, self).__init__() self.alpha = alpha self.beta = beta def forward(self, hash_codes, outputs, y): # 计算哈希码之间的欧氏距离 dist = 0 for i in range(len(hash_codes)): for j in range(i+1, len(hash_codes)): dist += torch.pow(torch.norm(hash_codes[i]-hash_codes[j]), 2) # 计算标签之间的汉明距离 label_dist = torch.pow(torch.norm(y.unsqueeze(1)-y.unsqueeze(0), p=0), 2) # 计算损失函数 loss = torch.sum(torch.stack(outputs, dim=0)) + self.alpha*dist - self.beta*label_dist return loss # 优化器 optimizer = optim.Adam(sdmh_model.parameters(), lr=0.01) # 训练 for epoch in range(num_epochs): sdmh_model.train() for i, (x, y) in enumerate(train_loader): # 前向传播 hash_codes, outputs = sdmh_model(x) # 计算损失函数 loss = sdmh_loss(hash_codes, outputs, y) # 反向传播 optimizer.zero_grad() loss.backward() optimizer.step() # 测试 with torch.no_grad(): sdmh_model.eval() for i, (x, y) in enumerate(test_loader): # 前向传播 hash_codes, outputs = sdmh_model(x) # 计算准确率 acc = (torch.argmax(torch.sum(torch.stack(outputs, dim=0), dim=0), dim=1) == y).float().mean() print("Accuracy: %.4f" % acc) ``` 注释： - 数据处理：将多个视图的数据和标签打包成一个数据集，每个样本包含多个视图的数据和一个标签。 - 模型定义：定义SDMH模型，包含多个视图的哈希函数和分类器。每个视图的哈希函数将视图的数据映射到二进制哈希码，每个视图的分类器将哈希码映射到标签的概率分布。 - 损失函数：定义SDMH模型的损失函数，包含哈希码之间的欧氏距离和标签之间的汉明距离。目标是最小化损失函数，同时使得哈希码之间的距离尽可能小，标签之间的距离尽可能大。 - 优化器：使用Adam优化器对SDMH模型进行参数更新。 - 训练：使用训练数据对SDMH模型进行训练，包含前向传播、计算损失函数、反向传播和参数更新。 - 测试：使用测试数据对SDMH模型进行测试，包含前向传播、计算准确率。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值