基于p稳定分布的LSH

最新推荐文章于 2023-05-28 22:00:40 发布
最新推荐文章于 2023-05-28 22:00:40 发布
阅读量4.6k 收藏 5
点赞数
分类专栏： 图像搜索查询 e2lsh 文章标签： scheme 数据库 算法 文档 存储
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/luyulong8/article/details/7594585
版权
E2LSH是一种位置敏感的哈希算法，利用p稳定分布处理高维向量，减少欧式距离计算，提高查询效率。通过随机向量a与特征向量的点乘投影，将向量映射到哈希值，近似计算点间距离。哈希函数包含随机变量a和b，选择多个函数增加冲突概率，形成多个哈希表。在数据库构建和检索过程中，通过不同的排列组合和额外的哈希函数降低存储需求。查询时，遍历所有桶并找到最近邻。
摘要由CSDN通过智能技术生成

最近在看E2LSH进行图像搜索查询,总结一下

E2LSH(exact Euclidean lsh)

LSH (Locality Sensitive Hashing)是当前高维空间中近似近邻搜索方法。

它的关键思想是使用一些哈希函数，确保距离比较近的点比距离比较远的点冲突的概率大，当要查询的时候，只需查询与查询点q冲突的点，从而减少了距离计算，加快查询时间。

一般的LSH是比较得到的哈希值的海明距离，但是一般距离都是用欧式距离进行度量的，将欧式距离映射到海明空间再比较其的海明距离比较麻烦。

E2LSH是基于p-稳定分布的位置敏感哈希算法，可以直接处理二次欧拉距离。

关于p稳定分布，定义如下(这个p还需要理解一下)

定义：对于一个实数集R上的分布D，如果存在P>=0，对任何n个实数v1,…,vn和n个满足D分布的变量X1,…,Xn，随机变量ΣiviXi和(Σi|vi|p)1/pX有相同的分布，其中X是服从D分布的一个随机变量，则称D为 一个p-稳定分布。比如p=1是柯西分布，p=2时是高斯分布。一种分布模型吧。

一般提取出来的特征时高维的，

最低0.47元/天 解锁文章
luyulong8
关注
专栏目录
【E2LSH源码分析】p稳定分布LSH算法初探
Jason Ding的专栏
07-29 1万+
对应海明距离的LSH称为位采样算法（bit sampling），该算法是比较得到的哈希值的海明距离，但是一般距离都是用欧式距离进行度量的，将欧式距离映射到海明空间再比较其的海明距离比较麻烦。于是，研究者提出了基于p-稳定分布的位置敏感哈希算法，可以直接处理欧式距离，并解决(R,c)-近邻问题。
p-稳定E2LSH
I am not a quitter.
11-21 5313
LSH算法的基本思想就是用随机的哈希函数值保证相似的数据点以很高的概率发生冲突而能够被检测到。最初的LSH应用在汉明空间，后来将其扩展到欧氏空间。欧氏局部敏感哈希(E2LSH)继承了原始LSH的两个特性：第一是它很适合于维数高但稀疏的数据点，如图像特征；第二是如果数据满足一定的有界增长特性，它就可以很快地找到精确的近邻。   E2LSH是基于p-稳定分布的，它使用哈希函数将数据库中的矢量点投影
【E2LSH源代码分析】p稳定分布LSH算法初探
weixin_34268579的博客
01-31 338
上一节，我们分析了LSH算法的通用框架，主要是建立索引结构和查询近似近期邻。这一小节，我们从p稳定分布LSH（p-Stable LSH）入手，逐渐深入学习LSH的精髓，进而灵活应用到解决大规模数据的检索问题上。 相应海明距离的LSH称为位採样算法（bit sampling），该算法是比較得到的哈希值的海明距离，可是一般距离都是用欧式距离进行度量的，将欧式距离映射到海明空间再比較其的海明距...
【LSH源码分析】p稳定分布LSH算法
GarfieldEr007的专栏
05-22 2844
上一节，我们分析了LSH算法的通用框架，主要是建立索引结构和查询近似最近邻。这一小节，我们从p稳定分布LSH（p-Stable LSH）入手，逐渐深入学习LSH的精髓，进而灵活应用到解决大规模数据的检索问题上。 对应海明距离的LSH称为位采样算法（bit sampling），该算法是比较得到的哈希值的海明距离，但是一般距离都是用欧式距离进行度量的，将欧式距离映射到海明空间再比较其的海明距离比较麻
LSH系列3：p-stable LSH&E2LSH——原理介绍
W24的博客
10-13 4862
p-stable LSH 背景 LSH 方法是处理海量高维数据 Approximate Nearest Neighbor（ANN）查询的有效的方法。 在处理欧氏空间中 ANN 问题时，原始的 LSH（Original LSH） 方法将原始空间中的点嵌入到 Hamming 空间中，即将欧氏空间中点的表示形式转换成 Hamming 空间中点的表示形式，原始空间中的距离度量转换成 Hamming 空间中的距离度量，即 Hamming距离（其定义为两个等长序列各位进行异或运算，结果为 1 的个数）。 对应该汉明距离
p-stable_lsh.rar
05-13
《基于p-stable分布的LSH算法在图像检索中的应用》 在计算机科学尤其是数据挖掘领域，局部敏感哈希（Local Sensitive Hash, LSH）是一种广泛应用的技术，它主要用于高效地处理大规模数据集中的相似性查找问题。在...
LSH(Locality Sensitive Hashing)原理与实现
热门推荐
guoziqing506的博客
11-14 7万+
LSH(Locality Sensitive Hashing)翻译成中文，叫做“局部敏感哈希”，它是一种针对海量高维数据的快速最近邻查找算法。 在信息检索，数据挖掘以及推荐系统等应用中，我们经常会遇到的一个问题就是面临着海量的高维数据，查找最近邻。如果使用线性查找，那么对于低维数据效率尚可，而对于高维数据，就显得非常耗时了。为了解决这样的问题，人们设计了一种特殊的hash函数，使得2个相似度很高
局部敏感哈希LSH
lskyne的专栏
03-09 8324
一、原始LSH 1、概述   LSH主要用来解决高维空间中点的近似最近邻搜索问题，即Approximate Nearest Neighbor。LSH将原始空间中的点嵌入到Hamming空间中，即原始空间中点的表达形式转换成Hamming空间中点的表达形式，原始空间中的距离度量转换成Hamming空间中的距离度量。这样，原始空间的e-NNS(定义见下文)问题就转变成Hamming空间
E2LSH源代码
08-01
E2LSH的源代码，p稳定分布LSH 用于大规模的图片检索
欧式距离的局部敏感哈希E2LSH.py
07-30
欧氏距离局部敏感哈希，每次描述资源都不知道说啥，还得凑够50个字，打了这么多字，想收一个积分了。没得编了，给出文章的链接吧。https://blog.csdn.net/Wolf_xujie/article/details/103847577
e2lsh的学习手册
07-12
这个一个e2lsh的介绍文档，它详细的介绍了精确欧式空间位置敏感哈希簇的内容算法
位姿检索PoseRecognition：LSH算法.p稳定哈希
wishchinYang的专栏
02-13 4751
位姿检索使用了LSH方法，而不使用PNP方法，是有一定的来由的。主要的工作会转移到特征提取和检索的算法上面来，有得必有失。因此，放弃了解析的方法之后，又放弃了优化的方法，最后陷入了检索的汪洋大海。 0：转自wiki：http://en.wikipedia.org/wiki/Locality_sensitive_hashing 以下参考资料仅供参考：LSH理解及相关资料：http:/
Alpha稳定分布噪声特性、产生方法及其仿真
最新发布
qq_45471796的博客
05-28 4173
稳定分布最常用的是根据其特征函数给出的，因为除了少数几个特例外，稳定分布的概率密度函数不存在封闭的表达式，因此通过特征函数(关于特征函数有不清楚的可以参考随机变量的特征函数及应用)定义更为方便，稳定分布的特征函数可表示为：其中：从特征函数中可看出，该特征函数由及这四个特征参数确定，且有。这四个参数的物理意义如下所示：1、特征指数，描述了稳定分布的冲击程度，同时也可以度量分布函数拖尾的厚度。值越小，脉冲性越强，对应分布的拖尾越厚，相反，随着。
α稳定分布的研究
qq_33599939的博客
02-15 7250
本人对《Alpha稳定分布的模型仿真及参数估计》的学习记录。
E2LSH的原理与实现
Camu7s的专栏
10-19 9391
E2LSH一个是用来解决高维空间近邻搜索问题的工具包。E2LSH实现了R-NN问题的随机化解决方案，即(R, 1 −δ )-near neighbor：每个满足||q-p||2 ≤ R的点p被报告的概率至少为1 −δ。E2LSH的实现基于基本的LSH模式。
LSH(Locality Sensitive Hashing)基本思想
sjyttkl的专栏
02-22 1626
Locality Sensitive Hashing，LSH 原理和实现 1. 基本思想 局部敏感（Locality Senstitive）：即空间中距离较近的点映射后发生冲突的概率高，空间中距离较远的点映射后发生冲突的概率低。 局部敏感哈希的基本思想类似于一种空间域转换思想，LSH算法基于一个假设，如果两个文本在原有的数据空间是相似的，那么分别经过哈希函数转换以后的它们也具有很高的相似度...
python实现e2lsh高维数据集k近邻搜索——实现流程
Return__None的博客
06-08 1768
lsh学习链接： LSH(Locality Sensitive Hashing)原理与实现 对高维数据查询最近邻，推荐使用p-stable LSH，minLSH是针对文档查询最近邻得方法； python学习与使用： python入门之类 常用函数： random.gauss(mu, sigma)：均值为mu且标准偏差为sigma的高斯分布 random.uniform(x, y)：将随机生成下一个实数，它在 [x, y] 范围内。 numpy.inner()：返回一维数组的向量内积。对于更高的维度，它返回.
基于LSH算法的设计与实现
LSH算法思想与实现 LSH（Locality-Sensitive Hashing）算法是一种大量数据中进行相似度计算的算法。该算法的思想是，利用hash函数，将原始数据点映射到一个新的空间中，并且使得在原空间中距离相近的点会以很大的...
评论 5
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值