p-稳定E2LSH

最新推荐文章于 2020-10-13 12:08:00 发布
最新推荐文章于 2020-10-13 12:08:00 发布
阅读量5.3k 收藏 12
点赞数 3
分类专栏： MLDM Algorithm 文章标签： p-stable E2LSh
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/aspirinvagrant/article/details/41253643
版权
本文介绍了E2LSH（Exact Euclidean Locality Sensitive Hashing）算法，这是一种基于p-稳定分布的降维方法，用于处理高维数据。E2LSH利用p-稳定分布的特性设计哈希函数，保持了数据点之间的距离关系，适用于近邻搜索。通过联合使用多个位置敏感函数和主、次哈希函数，E2LSH能够高效地聚类数据点并检索近邻。
摘要由CSDN通过智能技术生成


LSH算法的基本思想就是用随机的哈希函数值保证相似的数据点以很高的概率发生冲突而能够被检测到。最初的LSH应用在haming空间，后来将其扩展到欧氏空间。欧氏局部敏感哈希(E2LSH，Exact Euclidean locality sensitive Hashing)是位置LSH在欧氏空间的一种随机化实现方法，其基本原理是：利用基于p-稳定分布的位置敏感函数对高维数据进行降维映射，使原始空间中距离很近的两个点经映射操作后依然很近。E2LSH继承了原始LSH的两个特性：第一是它很适合于维数高但稀疏的数据点，如图像特征；第二是如果数据满足一定的有界增长特性，它就可以很快地找到精确的近邻。如下图所示，三维空间中很近的点（绿颜色圆球）投影到某个平面上它们的距离仍然很近，三维空间中距离很远的红色正方体投影到平面上距离仍然很远。




E2LSH是基于p-稳定分布的，它使用哈希函数将数据点投影到随机的方向矢量 ai 上，ai 的每个元素均服从p-稳定分布。具有如下性质：若两个变量都服从p-稳定分布，则其线性组合也服从p-稳定分布。

 

p=1时是柯西分布, 概率密度函数为：



最低0.47元/天 解锁文章
GeekStuff
关注
专栏目录
【E2LSH源码分析】p稳定分布LSH算法初探
Jason Ding的专栏
07-29 1万+
对应海明距离的LSH称为位采样算法（bit sampling），该算法是比较得到的哈希值的海明距离，但是一般距离都是用欧式距离进行度量的，将欧式距离映射到海明空间再比较其的海明距离比较麻烦。于是，研究者提出了基于p-稳定分布的位置敏感哈希算法，可以直接处理欧式距离，并解决(R,c)-近邻问题。
基于p稳定分布的LSH
luyulong8的专栏
05-23 4654
最近在看E2LSH进行图像搜索查询,总结一下 E2LSH(exact Euclidean lsh) LSH (Locality Sensitive Hashing)是当前高维空间中近似近邻搜索方法。 它的关键思想是使用一些哈希函数，确保距离比较近的点比距离比较远的点冲突的概率大，当要查询的时候，只需查询与查询点q冲突的点，从而减少了距离计算，加快查询时间。 一般的LSH是比较得到的
【E2LSH源代码分析】p稳定分布LSH算法初探
weixin_34268579的博客
01-31 338
上一节，我们分析了LSH算法的通用框架，主要是建立索引结构和查询近似近期邻。这一小节，我们从p稳定分布LSH（p-Stable LSH）入手，逐渐深入学习LSH的精髓，进而灵活应用到解决大规模数据的检索问题上。 相应海明距离的LSH称为位採样算法（bit sampling），该算法是比較得到的哈希值的海明距离，可是一般距离都是用欧式距离进行度量的，将欧式距离映射到海明空间再比較其的海明距...
E2LSH的原理与实现
Camu7s的专栏
10-19 9387
E2LSH一个是用来解决高维空间近邻搜索问题的工具包。E2LSH实现了R-NN问题的随机化解决方案，即(R, 1 −δ )-near neighbor：每个满足||q-p||2 ≤ R的点p被报告的概率至少为1 −δ。E2LSH的实现基于基本的LSH模式。
【E2LSH源码分析】LSH算法框架分析
Jason Ding的专栏
07-28 7946
最近邻问题（nearest neighbor problem）可以定义如下：给定n个对象的集合并建立一个数据结构，当给定任意的要查询对象时，该数据结构返回针对查询对象的最相似的数据集对象。LSH的基本思想是利用多个哈希函数把高维空间中的向量映射到低维空间，利用低维空间的编码来表示高维向量。通过对向量对象进行多次哈希映射，高维向量按照其分布以及自身的特性落入不同哈希表的不同桶中。在理想情况下可以认为在高维空间中位置比较接近的向量对象有很大的概率最终落入同一个桶中，而距离比较远的对象则以很大的概率落入不同的桶中
e2lsh的学习手册
07-12
E2LSH 解决了一个随机化的版本，即 \((R, 1-\delta)\)-近邻问题，在这个问题中，满足 \(\|q - p\|_2 \leq R\) 的每个点 \(p\) 必须以至少 \(1-\delta\) 的概率被报告（因此，\(\delta\) 是近邻点 \(p\) 未被报告的...
【E2LSH源码分析】E2LSH函数接口
Jason Ding的专栏
08-04 3634
上一小节，我们对E2LSH代码主要的源码框架和用到的数据结构作了简单介绍（http://blog.csdn.net/jasonding1354/article/details/38331229），这一节我将简单介绍一下E2LSH的主要函数接口。
【E2LSH源码分析】E2LSH源码综述及主要数据结构
Jason Ding的专栏
08-01 4303
E2LSH的核心代码可以分为3部分： LocalitySensitiveHashing.cpp——主要包含基于LSH的RNN(R-near neighbor)数据结构。其主要功能是根据参数构建数据结构进行查询数据对象的功能； BucketHashing.cpp——主要包含对于哈希桶的普通哈希表。其主要功能是构建哈希表，添加哈希桶到表中和查询哈希桶； SelfTuning.cpp——包含计算RNN数据结构最佳参数的函数。
【LSH源码分析】p稳定分布LSH算法
GarfieldEr007的专栏
05-22 2844
上一节，我们分析了LSH算法的通用框架，主要是建立索引结构和查询近似最近邻。这一小节，我们从p稳定分布LSH（p-Stable LSH）入手，逐渐深入学习LSH的精髓，进而灵活应用到解决大规模数据的检索问题上。 对应海明距离的LSH称为位采样算法（bit sampling），该算法是比较得到的哈希值的海明距离，但是一般距离都是用欧式距离进行度量的，将欧式距离映射到海明空间再比较其的海明距离比较麻
E2LSH源代码
08-01
E2LSH的源代码，p稳定分布LSH 用于大规模的图片检索
欧式距离的局部敏感哈希E2LSH.py
07-30
欧氏距离局部敏感哈希，每次描述资源都不知道说啥，还得凑够50个字，打了这么多字，想收一个积分了。没得编了，给出文章的链接吧。https://blog.csdn.net/Wolf_xujie/article/details/103847577
局部敏感哈希LSH
lskyne的专栏
03-09 8321
一、原始LSH 1、概述   LSH主要用来解决高维空间中点的近似最近邻搜索问题，即Approximate Nearest Neighbor。LSH将原始空间中的点嵌入到Hamming空间中，即原始空间中点的表达形式转换成Hamming空间中点的表达形式，原始空间中的距离度量转换成Hamming空间中的距离度量。这样，原始空间的e-NNS(定义见下文)问题就转变成Hamming空间
运行E2LSH方法
02-12 1023
首先进入E2LSH根目录下： 可以直接输入make命令，来编译E2LSH包，或者使用bin/compile脚本编译E2LSH包； make 或者： bin/compile E2LSH包主要脚本是bin/lsh，该脚本的主要使用 bin/lsh R data_set_filequery_set_file [successProbability] 在该实验中的具体命令是：
LSH系列3：p-stable LSH&E2LSH——原理介绍
W24的博客
10-13 4843
p-stable LSH 背景 LSH 方法是处理海量高维数据 Approximate Nearest Neighbor（ANN）查询的有效的方法。 在处理欧氏空间中 ANN 问题时，原始的 LSH（Original LSH） 方法将原始空间中的点嵌入到 Hamming 空间中，即将欧氏空间中点的表示形式转换成 Hamming 空间中点的表示形式，原始空间中的距离度量转换成 Hamming 空间中的距离度量，即 Hamming距离（其定义为两个等长序列各位进行异或运算，结果为 1 的个数）。 对应该汉明距离
python实现e2lsh高维数据集k近邻搜索——实现流程
Return__None的博客
06-08 1767
lsh学习链接： LSH(Locality Sensitive Hashing)原理与实现 对高维数据查询最近邻，推荐使用p-stable LSH，minLSH是针对文档查询最近邻得方法； python学习与使用： python入门之类 常用函数： random.gauss(mu, sigma)：均值为mu且标准偏差为sigma的高斯分布 random.uniform(x, y)：将随机生成下一个实数，它在 [x, y] 范围内。 numpy.inner()：返回一维数组的向量内积。对于更高的维度，它返回.
LSH(Locality Sensitive Hashing)基本思想
sjyttkl的专栏
02-22 1618
Locality Sensitive Hashing，LSH 原理和实现 1. 基本思想 局部敏感（Locality Senstitive）：即空间中距离较近的点映射后发生冲突的概率高，空间中距离较远的点映射后发生冲突的概率低。 局部敏感哈希的基本思想类似于一种空间域转换思想，LSH算法基于一个假设，如果两个文本在原有的数据空间是相似的，那么分别经过哈希函数转换以后的它们也具有很高的相似度...
《Locality-Sensitive Hashing Scheme Based on p-Stable Distributions》阅读笔记
a_Mao2016的博客
03-02 1749
       在数据量急速扩张和对搜索速度期望提高的背景下，位置敏感哈希技术（LSH：locality-senstive hashing）应运而生。顾名思义，这种技术就是数据点在哈希之后保持原始数据之间的距离。换一种说法就是，在原始距离中较近的点有较大的可能性被哈希成同一个点，而原始距离中距离较远的点有较大的可能性被哈希成距离很远的数据。本文对原始的LSH提出了一种改进，即基于一种基于p-stab...
LSH(Locality Sensitive Hashing)原理与实现
热门推荐
guoziqing506的博客
11-14 7万+
LSH(Locality Sensitive Hashing)翻译成中文，叫做“局部敏感哈希”，它是一种针对海量高维数据的快速最近邻查找算法。 在信息检索，数据挖掘以及推荐系统等应用中，我们经常会遇到的一个问题就是面临着海量的高维数据，查找最近邻。如果使用线性查找，那么对于低维数据效率尚可，而对于高维数据，就显得非常耗时了。为了解决这样的问题，人们设计了一种特殊的hash函数，使得2个相似度很高
E2LSH详解：精确欧氏空间位置敏感哈希簇算法手册
- **p-norm LSH**：重点在于p稳定分布的选择和如何根据p值优化哈希性能。 4. **实现细节**： - **R-NN数据结构**：了解这种数据结构如何存储和组织哈希后的数据，以及如何在查询时快速找到潜在匹配。 - **...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值