MinHash LSH

Github datasketch
MinHash LSH

假设你有一个非常大的集合群。给定一个查询集合,想要在集合群中找到与查询集的Jaccard 相似度大于确定阈值的集合,并且对于很多其他查询也进行相同的操作。
为了进行有效地查询,可以给每一个集合创造一个MinHash,当一个查询集到来,可以计算集合群中的集合的MinHash与查询集合的MinHash,并且返回满足阈值的集合们。

上述方法仍然是一个复杂度 O(n) 的算法,意味着 查询的成本会随着集合数目的增加线性增加。一种流行的替代方法是使用局部敏感哈希索引 Locality Sensitive Hashing (LSH)。LSH 可以与MinHash一起使用来实现次线性查询开销——这是一个巨大的改进。

MinHashLSH是一种基于MinHash算法LSH(局部敏感哈希)技术的方法,用于实现文本去重。 MinHash是一种用于计算集合相似度的方法。它通过对集合进行随机排列得到一个特征向量,然后针对这个特征向量计算哈希值,从而实现对集合之间的相似度比较。MinHash具有较高的计算效率和较好的近似性能。 MinHashLSH是在MinHash基础上结合了LSH技术。LSH是一种用于处理高维数据的哈希技术,它能将相似的数据映射到同一个桶中,从而加速相似度搜索的过程。MinHashLSH利用多个MinHash哈希函数,将数据划分为多个桶,相似的文本被映射到相同的桶中。这样,在文本去重的过程中,我们只需要对同一个桶中的文本进行完全比较,大大减少了计算量。 实现文本去重的步骤如下: 1. 将文本分词,得到词的集合。 2. 对每个词进行哈希函数映射,得到固定长度的特征向量。 3. 根据特征向量计算MinHash签名,得到每个文本的MinHash特征集合。 4. 将MinHash特征集合划分为多个桶,相似的文本被映射到相同的桶中。 5. 对同一个桶中的文本进行完全比较,判断是否为重复文本。 MinHashLSH能够高效地处理海量的文本数据,通过适当调整参数,能够实现较高的去重效果。但需要注意的是,由于使用了哈希函数和近似计算,存在一定的误差率。因此,在实际应用中,需要根据具体需求和性能要求来确定参数设置,以获得满足要求的文本去重效果。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值