simhash和minhash实现理解

最新推荐文章于 2019-06-19 20:46:00 发布
最新推荐文章于 2019-06-19 20:46:00 发布
阅读量199 收藏
点赞数
文章标签： golang
原文链接：http://www.cnblogs.com/bergus/p/simhash-heminhash-shi-xian-li-jie.html
版权

文本相似度算法

minhash

minhash

1. 把文档A分词形成分词向量L
2. 使用K个hash函数，然后每个hash将L里面的分词分别进行hash，然后得到K个被hash过的集合
3. 分别得到K个集合中的最小hash，然后组成一个长度为K的hash集合
4. 最后用Jaccard index求出两篇文档的相似度

simhash

1. 把文档A分词形成分词向量L，L中的每一个元素都包涵一个分词C以及一个分词的权重W
2. 对L中的每一个元素的分词C进行hash，得到C1，然后组成一个新的向量L1
3. 初始化一个长度大于C1长度的向量V，所有元素初始化为0
4. 分别判断L1中的每一个元素C1的第i位，如果C1i是1，那么Vi加上w，否则Vi减去w
5. 最后判断V中的每一项，如果第i项大于0，那么第i项变成1，否则变成0
6. 两篇文档a,b分别得到aV,bV
6. 最后求出aV和bV的海明距离，一般距离不大于3的情况下说明两篇文档是相似的

中文文档simhash值计算
simhash算法原理及实现
GoSimhash 是 中文 simhash 去重算法库，Golang版本。
simhash算法的原理
simhash与Google的网页去重

转载于:https://www.cnblogs.com/bergus/p/simhash-heminhash-shi-xian-li-jie.html

weixin_30532837
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
MinHash与SimHash
dm_ustc的博客
05-10 9096
这篇文字主要写MinHash和SimHash的区别，不涉及MinHash和SimHash的详细介绍，具体资料在最后参考资料里给出。 一、相同点 提到哈希我们想到很多应用，最常见的话就是用于提高查询效率，还可用于加密方面。本篇文章要介绍的MinHash和SimHash由于具有一些特性在降维，查重和聚类等方面应用广泛。 1.它们都具有一般哈希方法所没有的局部敏感的性质（局部敏感哈希LSH是一类哈
minhash算法检索相似文本_海量文本的去重simHash和minHash
weixin_28952633的博客
02-07 202
局部敏感哈希(Locality-Sensitive Hashing, LSH)方法介绍​ 通过建立Hash Table的方式我们能够得到O(1)的查找时间性能，其中关键在于选取一个hash function，将原始数据映射到相对应的桶内(bucket, hash bin)，例如对数据求模：h = x mod w，w通常为一个素数。在对数据集进行hash 的过程中，会发生不同的数据被映射...
数据挖掘之lsh minhash simhash
mousever的专栏
09-09 1009
在项目中碰到这样的问题： 互联网用户每天会访问很多的网页，假设两个用户访问过相同的网页，说明两个用户相似，相同的网页越多，用户相似度越高，这就是典型的CF中的user-based推荐算法。 算法的原理很简单，只要两两计算用户的相似性，针对每个用户，获取最相似的K个用户即可。 但是在实际的工程上，假定用户规模在亿的规模N，计算复杂度为N*N，即使是分布式，也是非常可怕的复杂
MinHash和SimHash
smartcat2010的博客
11-13 1395
MinHash:  用文档里所有词最小的K个哈希值做特征集合，表征这篇文档；文档之间的相似度在这个集合上用Jaccard距离；适合海量文档，所有文档只做一遍预处理，两两之间的词集合大大减小； 原文链接：https://my.oschina.net/pathenon/blog/65210 1.概述     跟SimHash一样，MinHash也是LSH的一种，可以用来快速估算两
[转]文本相似性算法：simhash/minhash/余弦算法
heiyeluren的blog（黑夜路人的开源世界）
10-21 1万+
文本相似性中文本去重的常规做法，经常运营在数据挖掘等领域，主要有包括适合标题的minhash算法，适合文本内容的 simhash、余弦算法等
MinHashLSH:MinHash 和 LSH 的 Java 实现，用于查找由 Jaccard 相似度衡量的接近重复的文档
06-15
最小哈希LSH MinHash 和 LSH 的 Java 实现，用于查找通过 Jaccard 相似度衡量的接近重复的文档。 MinHash 的实现，用于逼近文本文档中的 Jaccard 相似度。 还包括 LSH 的实现，这是一种快速查找近似最近邻的方法。
MinHashJava:MinHash技术的Java实现
05-14
《MinHashJava：Java实现MinHash技术以检测集合相似性》 在计算机科学领域，特别是信息检索、数据挖掘和搜索引擎优化中，计算大...通过理解并运用MinHash算法，开发者能够解决实际问题，提升数据处理的效率和准确性。
SimilarityDetection:使用HadoopSpark中实现的MinHash和Random Projection在Wikipedia文章上进行相似性检测
04-30
这是通过MinHash和Random Projection的MapReduce / Spark实现实现的，它们是局部敏感哈希（LSH）技术，分别标识具有高Jaccard相似度和低汉明距离的句子。 我们的实验结果似乎支持Weissman [1]聚类结果的结论，并...
minhash实验.zip
06-30
实时大数据分析minhash算法 报告，源代码和数据集 采用Minhash技术两个文本数据集Amazon News和Google Report的Jaccard相似度，给出两个集合中每条记录在另一个集合中相似度最高的记录，作为匹配结果输出。
minhash:这提供了用于b位MinHash算法的工具
05-16
MinHash库 概述 该库提供了用于b位MinHash算法的工具。 问题/问题 请提出。 （日本论坛在。） 安装 玛文 将以下依赖项放入pom.xml中： < groupId>org.codelibs < artifactId>minhash < version>0.2.0 参考 ...
海量文件查重SimHash和Minhash
08-01 497
SimHash 　　事实上，传统比较两个文本相似性的方法，大多是将文本分词之后，转化为特征向量距离的度量，比如常见的欧氏距离、海明距离或者余弦角度等等。两两比较固然能很好地适应，但这种方法的一个最大的缺点就是，无法将其扩展到海量数据。例如，试想像Google那种收录了数以几十亿互联网信息的大型搜索引擎，每天都会通过爬虫的方式为自己的索引库新增的数百万网页，如果待收录每一条数据都去和网页...
局部敏感哈希（LSH）之simhash和minhash
weixin_30824277的博客
03-27 418
minhash 1. 把文档A分词形成分词向量L 2. 使用K个hash函数，然后每个hash将L里面的分词分别进行hash，然后得到K个被hash过的集合 3. 分别得到K个集合中的最小hash，然后组成一个长度为K的hash集合 4. 最后用Jaccard index求出两篇文档的相似度 simhash 1. 把文档A分词形成分词向量L，L中的每一个元素都包涵一个分词C...
斯坦福数据挖掘不同版本课件讲局部敏感哈希中MinHash的理解
XiaoPANGXia的专栏
11-04 1610
        今天学习局部敏感哈希，看斯坦福的课件，他在讲将7维Input matrix (Shingles x Documents)用MinHash处理成3维Signature matrix 时那一步里面结果怎么也对不上，就是这张熟悉的图： 描述是这样的：         我解读的应该是置换后一列中第一个是1的那行的行号，这样理解没什么问题吧，可是右边那个3*3的结果的表里咋没几个...
[转]文档去重算法：SimHash和MinHash
热门推荐
heiyeluren的blog（黑夜路人的开源世界）
03-07 6万+
simhash与重复信息识别来源：http://grunt1223.iteye.com/blog/964564在工作学习中，我往往感叹数学奇迹般的解决一些貌似不可能完成的任务，并且十分希望将这种喜悦分享给大家，就好比说：“老婆，出来看上帝”…… 随着信息爆炸时代的来临，互联网上充斥着着大量的近重复信息，有效地识别它们是一个很有意义的课题。例如，对于搜索引擎的爬虫系统来说，收录重复的网页是毫无意义的
文本局部敏感哈希-MinHash算法原理
晓风残月xj
09-18 6032
一、MinHash举例 下面原文转自大牛博客：聚类之MinHash　　　　　　　　    　 MinHash是基于Jaccard相似度的算法，一种降维的方法X，Y两个集合：X= {s1, s3, s6, s8, s9} ,Y= {s3, s4, s7, s8, s10} MinHash的基本原理：在X∪Y这个大的随机域里，选中的元素落在A∩B这个区域的概率，这个概率就等于Jaccard的相似
minhash算法
weixin_30567471的博客
05-08 418
minhash算法 大数据量计算相似度的时候，我们使用minhash（最小哈希）进行降维，使用LSH算法进行近似查询。 相似性的度量： 使用雅卡尔系数，交集数量除以并集数量。 以文档为例，组成成分为单词。我们将单词量化为数值，那么一个文档的构成可以有一个数值单词表构成，0表示存在，1表示不存在。 我们最初想法是打乱单词的数值代表，由一个单词代表一篇文档，但是这样在大数量的条件下比较复杂。 我们的办...
从NLP任务中文本向量的降维问题，引出LSH（Locality Sensitive Hash 局部敏感哈希）算法及其思想的讨论...
weixin_30794491的博客
06-19 2054
1. 引言 - 近似近邻搜索被提出所在的时代背景和挑战 0x1：从NN（Neighbor Search）说起 ANN的前身技术是NN（Neighbor Search），简单地说，最近邻检索就是根据数据的相似性，从数据集中寻找与目标数据最相似的项目，而这种相似性通常会被量化到空间上数据之间的距离，例如欧几里得距离（Euclidean distance)，NN认为数据在空间中的距离越近，则数据之间...
使用SimHash算法实现千万级文本数据去重插入（python版代码）
<p>专注挖坑</p>
06-18 1万+
前言，最近在搞大量数据插入MySQL的时候悲催的发现速度越来越慢，因为我的数据来多个源，使用流式更新，而且产品要求在这个表里面不能有数据重复，划重点！衡量数据是否重复的字段是文本内容，字段类型是text，…那么问题来了，如何在千万级数据量实现去重插入呢？而且要快！ 自杀式做法 1.管它重复不重复，先插入了再说 2.使用group by 先对不能重复的字段进行分组，在用一个having coun...
SimHash算法原理
不忘初心 方得始终
08-29 1万+
刚到公司项目中用到了simhash，但没有详细的了解，后来被问到原理，结果就狗带了。。 下面是自己查资料和自己的一些理解，不愧是google出品，比较符合google的风格，简单实用。 先贴一张网上的图片： 解释一下图片：这里feature可以指一篇文档分词后的某个词，即将文档中的某个词作为一个特征。weight是这个词的权重，这里可以是这个词在这个句子中出现的次数。 这里的hash算
minhash python实现
最新发布
07-20
MinHash是一种用于近似集合相似度计算的技术。下面是一个用Python实现MinHash的示例代码： ```python import numpy as np import hashlib class MinHash: def __init__(self, num_perm): self.num_perm = num_perm self.permutations = self._generate_permutations() def _generate_permutations(self): np.random.seed(0) minhash_permutations = np.random.randint(low=0, high=np.iinfo(np.int64).max, size=(self.num_perm, 2), dtype=np.int64) return minhash_permutations def _hash_value(self, value): return hashlib.sha1(value.encode()).hexdigest() def compute_hash(self, value): hash_value = self._hash_value(value) hash_code = int(hash_value, 16) return hash_code def compute_signature(self, document): signature = np.inf * np.ones(self.num_perm, dtype=np.int64) for word in document.split(): hash_code = self.compute_hash(word) for i in range(self.num_perm): a, b = self.permutations[i] hash_value = (a * hash_code + b) % np.iinfo(np.int64).max signature[i] = min(signature[i], hash_value) return signature def compute_similarity(self, signature1, signature2): return np.mean(signature1 == signature2) # 示例用法 document1 = "This is a document about cats" document2 = "This is a document about dogs" minhash = MinHash(num_perm=128) signature1 = minhash.compute_signature(document1) signature2 = minhash.compute_signature(document2) similarity = minhash.compute_similarity(signature1, signature2) print(f"Similarity between the documents: {similarity}") ``` 在上述示例代码中，我们首先定义了一个MinHash类，它接受参数`num_perm`，表示要使用的哈希函数数量。在初始化时，我们生成了一组随机排列用于哈希计算。 `_hash_value`方法使用SHA1算法对输入值进行哈希计算，并返回哈希值的十六进制表示。 `compute_hash`方法将字符串值转换为哈希码。 `compute_signature`方法计算给定文档的MinHash签名。对于文档中的每个词，我们计算其哈希值，并将其与每个哈希函数的参数相乘并取模。然后，我们将每个哈希函数的最小值作为文档的签名。 `compute_similarity`方法计算两个文档的相似度。它简单地计算两个签名之间相等哈希函数的比例。 在示例用法中，我们创建了两个文档，并使用MinHash计算它们的签名。然后，我们计算了两个签名之间的相似度，并打印了结果。 请注意，此处的示例代码是简化版的MinHash实现，并且可能不适用于大规模数据集。在实际应用中，您可能需要使用更高效的数据结构和算法来处理大量数据。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值