海量数据相似查找系列1 -- Minhashing & LSH & Simhash 技术汇总

最新推荐文章于 2024-05-11 11:18:43 发布
最新推荐文章于 2024-05-11 11:18:43 发布
阅读量7.6k 收藏 16
点赞数
分类专栏： 机器学习
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/hero_fantao/article/details/70245284
版权
本文介绍了在处理高维稀疏数据时，如何利用Minhashing、LSH（局部敏感哈希）和Simhash技术进行快速相似查找。Minhashing用于将高维数据降低到低维空间，LSH进一步通过哈希策略减少相似度计算的时间复杂度，Simhash则将文本映射为固定长度的二进制串，便于高效地进行去重和相似性判断。
摘要由CSDN通过智能技术生成
范涛
发表于2017-04-19

最近把海量数据如何进行相似查找技术进行个大体汇总，包括高维稀疏数据和稠密数据。
这一节重点针对高维稀疏数据情况，说如何通过哈希技术进行快速进行相似查找。
试想个案例，就拿推荐系统中item-user矩阵说事。如果你有item数量是百万级别，user是千万级别，这个矩阵是十分稀疏的。你如何计算每一个item的Top N相似item呢？ 
同样海量文本场景，文本集合可以看成doc-word 稀疏矩阵，如何求解每个文档的Top N相似文档？
如果采用两两比较的话，至少有两个问题：（1） O(n^2) 遍历比较时间复杂度； （2） 两个高维向量之间计算相似度，比如jaccard相似度，时间很耗时。
那如何解决呢？ 第一反应是用倒排啊。的确倒排能把上面的时间复杂度降低好几个数量级。但是上面提到的第二个问题却还是存在的。并且当文本数量级达到一定数量级时候，倒排拉链过长，效率也会下降。
所以这章重点说下基于哈希的方法，这种方法通过牺牲一定精度来换取时间上大幅提升。

一 Minhashing
先
最低0.47元/天 解锁文章
范涛
关注
  • 0
    点赞
  • 踩
  • 16
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
数据挖掘之lsh minhash simhash
xiaopei的博客
09-14 1万+
在项目中碰到这样的问题： 互联网用户每天会访问很多的网页，假设两个用户访问过相同的网页，说明两个用户相似，相同的网页越多，用户相似度越高，这就是典型的CF中的user-based推荐算法。 算法的原理很简单，只要两两计算用户的相似性，针对每个用户，获取最相似的K个用户即可。 但是在实际的工程上，假定用户规模在亿的规模N，计算复杂度为N*N，即使是分布式，也是非常可怕的复杂度。
simhash mysql_海量数据相似度计算之simhash和海明距离
weixin_31111107的博客
01-28 398
通过采集系统我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些算法对于待比较的文本数据不多时还比较好用，如果我们的爬虫每天采集的数据以千万计算，我们如何对于这些海量千万级的数据进行高效的合并去重。最简单的做法是拿着待比较的文本...
最小哈希Min-hashing理解
cacique111的博客
10-12 2343
最小哈希min-hashing理解
一文了解Simhash原理和用法-计算文章相似度
苍煜
05-11 972
import com// 停用词 private static Set < String > stopWordsSet = new HashSet < >();// 词频权重 private static Map < String , Double > idfMap = new HashMap < String , Double >();// 平均idf private static double idfAverage = loadIdfDict(idfMap);
mysql 短文本_海量数据相似度计算之simhash短文本查找
weixin_39828102的博客
01-21 216
在前一篇文章 《海量数据相似度计算之simhash和海明距离》 介绍了simhash的原理，大家应该感觉到了算法的魅力。但是随着业务的增长 simhash的数据也会暴增，如果一天100w，10天就1000w了。我们如果插入一条数据就要去比较1000w次的simhash，计算量还是蛮大，普通PC 比较1000w次海明距离需要 300ms ，和5000w数据比较需要1.8 s。看起来相似度计算不是很慢...
【大数据】三、相似项发现（Jaccard、Shingling、MinHashing）
ywm_up
07-09 1043
文章目录1. Jaccard1.1 例题2. shingling2.1 k-shingle2.2 k 值大小的选择2.3 例题3. MinHashing3.1 minhashing 作用：压缩3.2 算法步骤、例题4. LSH 行条化策略的分析5. 距离测度 1. Jaccard 定义 Jaccard 相似度计算公式： 定义 Jaccard 距离： 1.1 例题 不重复 重复 (bag)，最大值为 1 / 2 2. shingling 将文档用短字符集合来表示 2.1 k-shingle ch
开发技术-Web开发基于LSH的Web数据相似性查询研究.zip
04-09
"基于LSH（Locality Sensitive Hashing）的Web数据相似性查询研究"这个主题聚焦于如何高效地处理大规模Web数据集中的相似性查找问题。LSH是一种用于近似相似度搜索的数据结构，它能够在高维空间中快速识别潜在相似的...
大数据之数据挖掘课程：海量数据集挖掘 06-降维技术：SVD&CUR 共60页.pdf
最新发布
06-02
03-LSH Finding Similar Items：Locality Sensitive Hashing 04-LSH theory of Locality Sensitive Hashing 05-聚类算法 clustering 06-降维技术 Dimensionality Reduction：SVD&CUR 07-推荐系统 Recommender ...
大数据之数据挖掘课程：海量数据集挖掘 04-LSH-Locality Sensitive Hashing 共52页.pdf
06-02
03-LSH Finding Similar Items：Locality Sensitive Hashing 04-LSH theory of Locality Sensitive Hashing 05-聚类算法 clustering 06-降维技术 Dimensionality Reduction：SVD&CUR 07-推荐系统 Recommender ...
thinkphp5-使用SimHash进行海量内容数据查重
09-28
为了提高性能，可以使用一些数据结构优化技术，如Bloom Filter或MinHash LSH（Locality Sensitive Hashing），它们能在牺牲一定的精确度情况下进一步减少计算量和存储空间。 总结起来，使用ThinkPHP5结合SimHash...
Java实现simHash算法
05-21
Java实现simHash算法，对应博客http://www.cnblogs.com/hxsyl/p/4518506.html
Text-Similarity:在路透数据集上使用minhashing和Jaccard距离进行文本相似度计算
05-14
文件相似度 介绍 该项目的目的是通过实施多种方法来处理商品的数据集，以衡量商品之间的相似性。 接受检查的数据集是Reuters-21578集合。 该项目是在R开发的。 文档之间的相似性可以定义为它们共同成分的百分比。 这种计算最常用的方法之一是： 步骤1-重叠：将每个文档分解成其结构元素（重叠式）。 在此实现中，每个瓦片包含k个单词。 第2步-Minhashing：为了提高算法的性能，以保留相似性的方式提取了带状疱疹（签名）的代表性变换。 步骤3-LSH：适当使用签名将文档映射到存储桶中，以便相似的文档更有可能随同一个存储桶一起着陆。 第4步-文档比较：相似度的计算基于以下假设：只有相同存储桶中的文档可能彼此相似。 因此，仅针对最近的邻居对执行计算。 Jaccard相似度是用于文档比较的常用度量，即两个不同文档（交集）之间的共享组件与它们的总独立数量（联合）的比率。 可以使用带
实验报告：运用shingling+minhash+lsh方法对文档相似性进行分析
分享专栏一一一每天进步一点点
05-15 4125
实验报告 实验名称：文档相似性分析 一、实验目的 1．学习利用hadoop处理大数据。 2. 通过实验加强mapreduce编程能力。  3. 进一步理解shingling+minhash+lsh方法。   二、实验内容 1．安装vmware、hadoop、centos操作系统。 2. 使用给定的数据集,完成对文档相似性分析的实验任务。 三、实验环境 centos操作系统、e
彻底弄懂LSH之simHash算法
weixin_34128501的博客
05-21 721
　　马克·吐温曾经说过，所谓经典小说，就是指很多人希望读过，但很少人真正花时间去读的小说。这种说法同样适用于“经典”的计算机书籍。 　　最近一直在看LSH，不过由于matlab基础比较差，一直没搞懂。最近看的论文里几乎都是用simHash来实现LSH，从而进行ANN。 　　有空看看基于滑动窗口的论文相似性检测。 　　如何用matlab画出一个数列（函数）的收敛过程（菱形收敛、圆形收敛）？ ...
mysql 查找相似数据_局部敏感哈希LSH（Locality-Sensitive Hashing）——海量数据相似性查找技术...
weixin_39897015的博客
11-14 403
一、 前言最近在工作中需要对海量数据进行相似性查找，即对微博全量用户进行关注相似度计算，计算得到每个用户关注相似度最高的TOP-N个用户，首先想到的是利用简单的协同过滤，先定义相似性度量（cos，Pearson，Jaccard），然后利用通过两两计算相似度，计算top-n进行筛选，这种方法的时间复杂度为O(n^2)（对于每个用户，都和其他任意一个用户进行了比较）但是在实际应用中，对于亿级的用户量，...
SimHash算法----海量数据如何根据文本内容快速找到相似文本原理及案例
penyok的博客
04-30 2678
SimHash算法----海量数据如何根据文本内容快速找到相似文本原理及案例 SimHash算法原理转载自：https://blog.csdn.net/Daverain/article/details/80919418 一、什么是SimHash SimHash算法是Google在2007年发表的论文《Detecting Near-Duplicates for Web Crawling》中提到的一种...
使用simhash进行海量文章数据相似度去重
06-24 3087
1.原理理解： 这篇文章相当好： https://www.cnblogs.com/maybe2030/p/5203186.html https://www.cnblogs.com/qcloud1001/p/10059709.html 理解了整体思路，中间有个地方不好理解： 1.如何分桶，分桶的目的，只是缩小比较次数，尽快找到待比较的文本，进行海明计算： 现在一个text文本...
simHash、minHash、LSH、海量数据相似度、Redis百亿级Key存储、 Sentinel+ShardedJedis
weixin_34348805的博客
09-21 614
2019独角兽企业重金招聘Python工程师标准>>> ...
Locality-sensitive hashing（LSH）的Python代码
05-30
以下是使用Python实现Locality-sensitive hashing（LSH）算法的示例代码： ```python import numpy as np import hashlib # 生成一些随机数据 data = np.random.rand(1000, 10) # 设置LSH参数 num_tables = 10 num_hashes = 5 hash_size = 10 # 初始化LSH表 tables = [{} for _ in range(num_tables)] hash_funcs = [hashlib.sha1, hashlib.md5, hashlib.sha256, hashlib.blake2s, hashlib.sha3_256] # 建立LSH表 for i in range(num_tables): for j in range(1000): hash_values = [] for k in range(num_hashes): hash_value = hash_funcs[k](data[j].tostring()).hexdigest()[:hash_size] hash_values.append(hash_value) hash_key = ''.join(hash_values) if hash_key not in tables[i]: tables[i][hash_key] = [] tables[i][hash_key].append(j) # 查询近似相似的数据点 query = np.random.rand(10) query_hash_values = [] for k in range(num_hashes): hash_value = hash_funcs[k](query.tostring()).hexdigest()[:hash_size] query_hash_values.append(hash_value) query_hash_key = ''.join(query_hash_values) similar_points = set() for i in range(num_tables): if query_hash_key in tables[i]: similar_points.update(tables[i][query_hash_key]) print(similar_points) ``` 这段代码生成一个大小为1000的随机数据集，并使用LSH算法建立10个LSH表。然后，给定一个查询点，代码计算查询点的哈希值，并在每个LSH表中查找具有相同哈希值的数据点。最后，代码返回所有这些数据点的索引，这些数据点与查询点相似。在实际应用中，可以使用更复杂的哈希函数和更多的LSH表来提高准确性和效率。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值