MinHash、MinHashLSH、MinHashLSHForest、MinHashLSHEnsemble、Simhash举例

最新推荐文章于 2024-08-08 14:14:56 发布
最新推荐文章于 2024-08-08 14:14:56 发布
阅读量472 收藏 2
点赞数
分类专栏： python机器学习项目案例
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27328197/article/details/114500662
版权

文章目录

前言

什么是AI？
The theory and development of computer systems able to perform tasks normally requiring human intelligence.(–Oxford Dictionary)
Using data to solve problems.(–cy)

原理简介与举例

MinHash

在这里插入图片描述
案列代码见gitee

MinHashLSH

在这里插入图片描述
代码案例见gitee

MinHashLSHForest

在这里插入图片描述
在这里插入图片描述
代码案例见gitee

MinHashLSHEnsemble

在这里插入图片描述
案列代码见gitee

Simhash

在这里插入图片描述
具体代码见gitee

总结

（欢迎在评论区批评指正）

不懂六月飞雪
关注
专栏目录
MinHash&LSH
05-07 308
MinHash 是一种用于近似集合相似度计算的技术。它被广泛用于大规模数据集中的快速相似度估计，特别是在处理文本、图像和网络数据等领域。 MinHash 的基本思想是通过将集合中的元素哈希成一个较小的签名（通常是一个固定长度的整数或比特串），从而快速地比较两个集合之间的相似度。
NLP_文本去重_附Python实现【MinHash和MinHashLSH】算法
zik的博客
07-24 1505
大规模的文本去重是目前比较热门的一个技术，由于大模型的兴起，更多的高质量数据集也是大家迫切需要的。关于如何进行文本去重？直观的方法首先是利用Python正则表达式进行去重。推荐学习：1.re — 正则表达式操作2.正则表达式 - 教程然后是利用文本之间的相似度进行去重。这里主要讲第二种。推荐学习：1.张振虎大佬的博客2.Github的实现源码3.文本内容相似度计算方法：minhash4.Python的datasketch库中的MinHashLSHok！
LSH︱python实现MinHash-LSH及MinHash LSH Forest——datasketch（四）
热门推荐
素质云笔记
04-21 1万+
关于局部敏感哈希算法，之前用R语言实现过，但是由于在R中效能太低，于是放弃用LSH来做相似性检索。学了Python发现很多模块都能实现，而且通过随机投影森林让查询数据更快，觉得可以试试大规模应用在数据相似性检索+去重的场景。 私认为，文本的相似性可以分为两类：一类是机械相似性；一类是语义相似性。 机械相似性代表着，两个文本内容上的相关程度，比如“你好吗”和“你好”的相似性，纯粹代表着内容
minhash算法
07-01 3287
minhash算法
数据挖掘之lsh minhash simhash
mousever的专栏
09-09 1026
在项目中碰到这样的问题： 互联网用户每天会访问很多的网页，假设两个用户访问过相同的网页，说明两个用户相似，相同的网页越多，用户相似度越高，这就是典型的CF中的user-based推荐算法。 算法的原理很简单，只要两两计算用户的相似性，针对每个用户，获取最相似的K个用户即可。 但是在实际的工程上，假定用户规模在亿的规模N，计算复杂度为N*N，即使是分布式，也是非常可怕的复杂
局部敏感哈希（LSH）之simhash和minhash
weixin_30824277的博客
03-27 432
minhash 1. 把文档A分词形成分词向量L 2. 使用K个hash函数，然后每个hash将L里面的分词分别进行hash，然后得到K个被hash过的集合 3. 分别得到K个集合中的最小hash，然后组成一个长度为K的hash集合 4. 最后用Jaccard index求出两篇文档的相似度 simhash 1. 把文档A分词形成分词向量L，L中的每一个元素都包涵一个分词C...
LSH forest了解
omywa的专栏
08-28 2192
LSH forest要解决的问题是，使用较少的存储空间，建立较高效的索引。 LSH索引要调整的参数有k、l、r 和ε（跟点的个数 n 有关）， k指一个hash序列包含的hash function 个数， l 指hash序列的个数， r 指查询点到最近点的距离， ε 指一个查询返回结果的误差因子。 LSH forest逻辑结构描述： 从H集合中随机选取km（变量）个哈
LSH Forest: Self-Tuning Indexes for Similarity Search
小蚂蚁与大象
09-29 62
相似性索引在很多场景下都很重要:网络搜索引擎需要快速、并行、基于内存的索引来进行文本数据的相似性搜索;然后，我们可以在所有标签的集合上构建一个(逻辑上的)前缀树，每个叶子节点对应一个点。我们称这棵树为LSHTree。(a)消除了LSH必须不断手动调整的不同数据依赖参数，(b)在保持相同的存储和查询开销的同时，改进了LSH对倾斜数据分布的性能保证。具体来说，每个点的标签要足够长，以确保每个点都有一个不同的标签。每棵LSH树都是由h中独立绘制的随机哈希函数序列构建的，我们称这个l树的集合为LSHForest。
MinHash与SimHash
dm_ustc的博客
05-10 9166
这篇文字主要写MinHash和SimHash的区别，不涉及MinHash和SimHash的详细介绍，具体资料在最后参考资料里给出。 一、相同点 提到哈希我们想到很多应用，最常见的话就是用于提高查询效率，还可用于加密方面。本篇文章要介绍的MinHash和SimHash由于具有一些特性在降维，查重和聚类等方面应用广泛。 1.它们都具有一般哈希方法所没有的局部敏感的性质（局部敏感哈希LSH是一类哈
datasketch:MinHash，LSH，LSH森林，加权MinHash，HyperLogLog，HyperLogLog ++，LSH集成
05-11
datasketch：大数据看起来很小 datasketch提供给您概率性的... Scipy是可选的，但有了它，LSH初始化可以更快。 请注意， 和也支持Redis和Cassandra存储层（请参见 ）。 安装 要使用pip安装datasketch： pip insta
datasketch, MinHash，LSH，LSH林，加权 MinHash，HyperLogLog，HyperLogLog .zip
09-18
datasketch, MinHash，LSH，LSH林，加权 MinHash，HyperLogLog，HyperLogLog datasketch: 大数据看起来很小 datasketch提供了可以以快速地处理和搜索大量数据 super的概率数据结构，而且精度很少。这里软件包包含以下数据草图：数据草图用法MinHash估计Jaccard
probminhash 和 superminhash算法的Rust实现
06-11
这个 crate 提供了一些从原始 Minhash 派生的最新算法的实现。它们具有更好的性能并且更通用。 ProbMinHash2、ProbMinHash3 和 ProbMinHash3a，如 O. Ertl 论文： ProbMinHash 中所述。 用于概率 Jaccard 相似性 (2020) probminhash Ertl的一类局部敏感哈希算法。 这些算法通过敏感散列计算 Jaccard 加权指数的估计。它是将 Jaccard 索引扩展到对象具有权重或关联的多重性的情况。 此 Jaccard 加权指数提供了离散概率分布的度量，如： Moulton Jiang 中所述。最大一致抽样和概率分布的 Jaccard 指数 (2018) Moulton-Jiang-ieee或Moulton-Jiang-arxiv 注意到Jp是 Jaccard 加权指数，然后 是1。 - Jp定义了一个关于有限离散概率的度量。 这个模块是 crate 的核心，还有另外两个模块。 超明哈希 Superminhash 的实现： Jaccard 相似度估计的新 minwise 哈希算法 Otm
基于权重的Jaccard相似度度量的实体识别方法 (2009年)
05-25
社会网络分析方法将社会行动者映射为图的节点，社会行动者之间的关系映射为图的边，然后利用图论的相关知识来解决社会网络问题。将数据挖掘方法应用于社会网络分析是数据挖掘研究领域的一个新方向。本文主要在算法改进和系统实现层面展开数据挖掘在社会网络分析中的应用，提出了基于权重的Jaccard相似度度量的方法及处理多链接属性的实体识别算法。最后基于电信分析系统平台，使用上述算法在电信数据集上进行测试，实验结果表明上述算法的有效性和实用性。
Python 实现Jaccard相似度计算，判断英文新闻标题相似度
12-21
相似文档检测 Mission data.csv中包含了一个新闻标题列表，试通过近似检测方法，通过Jaccard相似度，检测相似文章，将结果保存到csv文件中，不同文章间用空行隔开。 Work 思路： 两个词作为一段来计算，末尾不够截掉 Jaccard相关系数大于0.5则认为两个新闻标题相似 利用并查集将相似的合并在一起 Code import pandas as pd import nltk import numpy as np class Jaccard: def __init__(self, _len): # _len 为步长值，语句切分的步长值 self._len
LSH 局部敏感哈希算法
01-15
LSH （Locality-sensitive-hashing）局部敏感哈希算法 matlab实现
使用MinHash和LSH进行大规模文本数据去重
最新发布
年少的勇气已经用完，剩下的就是三思而后行
08-08 749
假设我们有一组包含简单中文文本的数据。我们首先对每条文本进行分词，然后计算每条文本的MinHash值，并使用LSH将这些值插入到一个可查询的结构中。最后，我们查询每个文本的MinHash，找出所有相似的文本。这种方法特别适合处理语义上相似的文本，而不仅仅是字面上完全相同的文本。在这个例子中：文档0和文档3非常相似，因为它们都描述了“今天天气好，适合出去玩”的情景，尽管用词略有不同。文档2和文档4虽然都提到了“明天有雨”，但用词和句式的不同可能使得它们的相似度低于阈值。
LSH+随机森林
持之以恒
12-09 184
https://www.cnblogs.com/zhchoutai/p/8277181.html LSH +随机森林
LSH︱python实现局部敏感随机投影森林——LSHForest/sklearn（一）
素质云笔记
04-19 1万+
关于局部敏感哈希算法，之前用R语言实现过，但是由于在R中效能太低，于是放弃用LSH来做相似性检索。学了python发现很多模块都能实现，而且通过随机投影森林让查询数据更快，觉得可以试试大规模应用在数据相似性检索+去重的场景。 私认为，文本的相似性可以分为两类：一类是机械相似性；一类是语义相似性。 机械相似性代表着，两个文本内容上的相关程度，比如“你好吗”和“你好”的相似性，纯粹
相似检索/去重场景下MinHash-LSH及MinHash LSH Forest的Python实现
zenRRan的博客
03-03 3037
编辑：AI算法小喵 公众号写在前面个人认为文本的相似性可以分为两类：一类是机械相似性；一类是语义相似性。机械相似性代表着，两个文本内容上的相关程度，比如“你好吗”和“你好”的相似性，纯粹代表着内容上字符是否完全共现，应用场景在：文章去重；语义相似性代表着，两个文本语义上的相似程度，比如“苹果”和“公司”的相似性。今天跟大家分享在相似性检索+去重的场景下，如何基于Python中的datasketch...
minhashlsh实现文本去重
08-22
MinHashLSH是一种基于MinHash算法和LSH（局部敏感哈希）技术的方法，用于实现文本去重。 MinHash是一种用于计算集合相似度的方法。它通过对集合进行随机排列得到一个特征向量，然后针对这个特征向量计算哈希值，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值