minhash算法

最新推荐文章于 2021-02-16 01:57:42 发布
最新推荐文章于 2021-02-16 01:57:42 发布
阅读量415 收藏 1
点赞数
文章标签： java
原文链接：http://www.cnblogs.com/lzida9223/p/10831171.html
版权

minhash算法
大数据量计算相似度的时候，我们使用minhash（最小哈希）进行降维，使用LSH算法进行近似查询。

相似性的度量：
使用雅卡尔系数，交集数量除以并集数量。

以文档为例，组成成分为单词。我们将单词量化为数值，那么一个文档的构成可以有一个数值单词表构成，0表示存在，1表示不存在。

我们最初想法是打乱单词的数值代表，由一个单词代表一篇文档，但是这样在大数量的条件下比较复杂。

我们的办法是使用hash函数，对单词对应的序列号进行哈希，每个哈希函数产生对文档产生一个代表值，有多少个哈希函数，一个文档最后就由多少个新的序列号代表。

这样加入，我们一个文档由10000个单词组成，维度是很大的，我们使用128个哈希函数，这样文档的单词维度就变成了128维，大大降低了维度。

我们使用新的序列号维度进行相似性的度量

使用minhash进行降维的合理性在于，两个集合随即一个行排列最小哈希值相等的概率是等于雅卡尔系数的

参考来自这里

转载于:https://www.cnblogs.com/lzida9223/p/10831171.html

weixin_30567471
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
minhash算法 java_minhash算法
weixin_30150003的博客
02-13 384
在实际应用的过程中。相似性度量和计算是很经常使用的一个方法。比如网页去重、推断帖子是否相似、推荐系统衡量物品或者用户的相似度等等。当数据量大的时候，计算的时间和空间复杂度就会是一个很重要的问题，比如在推断相似发帖的时候。我们能够用kmeans来进行聚类。可是资源的消耗是巨大的。所以本文推荐一种方法，minhash+lsh(局部敏感hash)，用minhash来降维。用lsh来做近似查询，本文主要介...
【机器学习】minHash最小哈希原理及其应用
sxl的博客
01-03 5853
在数据结构中学过哈希概念以及哈希在内存中的应用，在实际的应用问题中哈希技术也应用十分广泛如在推荐系统以及图神经网络技术中，所以在此总结一下哈希的相关概念以及minHash以及其实际应用，其中多有参考别的文献内容，相关参考一并列在参考文献中。Hash（哈希），又称“散列”。散列（hash）英文原意是“混杂”、“拼凑”、“重新表述”的意思。
MinHash (最小哈希)
热门推荐
在路上的学习者
12-09 1万+
本文转自：http://1.cool.sinaapp.com/?p=893 minhash是判断文档相似的一种方法。这里结合一个具体的示例来简单过一下： 一、全集 ｛a,b,c,d,e｝，S1={a,d}, S2={c}, S3={b,d,e}, S4={a,c,d}。 具体含义：比如  S1,S2,S3,S4分别是4个文档，a,b,c,d,e可以是相应的文档特
MinHashJava:MinHash技术的Java实现
05-14
minhash技术的Java实现，以查找集合之间的相似性。 根据上的代码进行的修改
minhash:这提供了用于b位MinHash算法的工具
05-16
该库提供了用于b位MinHash算法的工具。 问题/问题 请提出。 （日本论坛在。） 安装 玛文 将以下依赖项放入pom.xml中： < groupId>org.codelibs < artifactId>minhash < version>0.2.0 参考 计算MinHash ...
分布式平台下MinHash算法研究与实现.pdf
08-10
#资源达人分享计划#
BigDataAnalysis_Exp4:实时大数据分析_文本相似-Shingling、Minhash算法
05-16
实时大数据分析实验四——文本相似-Shingling、Minhash算法 一、实验内容 采用Shinling及Minhash技术分析以下两段文本的Jaccard相似度： (1) The TOEFL test is an English language assessment that is often ...
文本相似-Shingling、Minhash算法实验报告广工（附源码java）
01-10
实验内容：采用Shinling及Minhash技术分析以下两段文本的Jaccard相似度： (1) The TOEFL test is an English language assessment that is often required for admission by English-speaking universities and ...
MinHashLSH:MinHash 和 LSH 的 Java 实现，用于查找由 Jaccard 相似度衡量的接近重复的文档
06-15
最小哈希LSH MinHash 和 LSH 的 Java 实现，用于查找通过 Jaccard 相似度衡量的接近重复的文档。 MinHash 的实现，用于逼近文本文档中的 Jaccard 相似度。 还包括 LSH 的实现，这是一种快速查找近似最近邻的方法。
java实现中文分词simhash算法
10-12
simhash算法对字符串计算权重时，对中文要做特殊操作，及先分词，请自行下载sanford中文分词jar包及中文分词库
Java实现simHash算法
05-21
Java实现simHash算法，对应博客http://www.cnblogs.com/hxsyl/p/4518506.html
[spark-hash学习]minhash算法实现细节
午餐吃什么的博客
03-12 4557
Implementation Details Implementation of LSH follows the rough steps minhash each vector some number of times. The number of times to hash is an input parameter. The hashing function is defined in
java minhash_MinHash概述及举例
weixin_33741534的博客
02-16 525
MinHash可用于聚类，计算向量相似等，两个向量相似计算，通过minhash降维从而把计算量维持在一个常数级别，他是基于Jaccard Index 相似度的算法，也是一种LSH的降维的方法。举例描述：A={中国,互联网,博客,Java,管理}B={互联网,Java,金融,数据库,事务,源码}那么A和B的相似值为：S(A,B)=|A∩B|/|A∪B|=2/9，当为1的时候为极其相似可以认为是相同，...
Minhash介绍
qiqll的专栏
07-23 5680
1.    minhash是用来降维的。用在两个事物相似度比较的场景。 2.    比较两个事物的相似度，通常是抽出事物的特征，然后两个事物的特征进行比较。例如s1（1，3，5），s2（2，3，5），交集/并集，算分。 3.    但如果事物特别多，并且特征也特别多，在计算上，工作量过大，于是想到降维，降低特征数。 4.    minhash认为，随机从特征中抽样一些来进行比较，和拿全部特征
minhash java_minHash最小哈希原理
weixin_35917052的博客
02-12 325
前言在数据挖掘中，一个最基本的问题就是比较两个集合的相似度。通常通过遍历这两个集合中的所有元素，统计这两个集合中相同元素的个数，来表示集合的相似度；这一步也可以看成特征向量间相似度的计算(欧氏距离，余弦相似度)。当这两个集合里的元素数量异常大(特征空间维数很大)，同时又有很多个集合需要判断两两间的相似度时，传统方法会变得十分耗时，最小哈希(minHash)可以用来解决该问题。Jaccard相似度在...
大数据文本相似去重方案
weixin_30710457的博客
03-13 1105
转载自http://blog.jobbole.com/46839/和http://blog.jobbole.com/47748/，原作者严澜（@观澜而索源） 通过采集系统我们采集了大量文本数据，但是文本中有很多重复数据影响我们对于结果的分析。分析前我们需要对这些数据去除重复，如何选择和设计文本的去重算法？常见的有余弦夹角算法、欧式距离、Jaccard相似度、最长公共子串、编辑距离等。这些...
JAVA实现的Locality Sensitive Hash
grunt1223的专栏
03-07 185
我在之前的博客已大致介绍了LSH的原理及其的适用场景，有兴趣的朋友可以移步至 [url]http://grunt1223.iteye.com/blog/937600[/url] 这里我给出它的具体实现及实验效果： [code="java"] private int dimention; //维度大小，例如对于sift特征来说就是128 private int max; //所需向...
MinHash算法+实现
最新发布
06-07
MinHash算法是一种用于计算两个集合之间相似度的快速算法。其基本思想是将集合中的元素哈希成一个个签名，再比较两个集合的签名相同的元素个数。 具体实现步骤如下： 1. 首先将集合中的元素进行哈希，得到一个个哈希值。 2. 然后将哈希值分成若干组，每组取一个最小值作为这一组的签名。 3. 对于两个集合，比较它们的签名相同的元素个数，用这个数值作为它们的相似度。 下面是一个简单的Python实现： ```python import hashlib def minhash(set1, set2, num_hashes): # 随机生成num_hashes个哈希函数 hash_funcs = [hashlib.sha1(str(i).encode()).hexdigest() for i in range(num_hashes)] # 初始化两个集合的签名 set1_sig = [float('inf')] * num_hashes set2_sig = [float('inf')] * num_hashes # 计算集合的签名 for val in set1: # 对每个元素进行哈希 hash_val = hashlib.sha1(str(val).encode()).hexdigest() # 更新集合的签名 for i in range(num_hashes): if hash_funcs[i] in hash_val: set1_sig[i] = min(set1_sig[i], val) for val in set2: # 对每个元素进行哈希 hash_val = hashlib.sha1(str(val).encode()).hexdigest() # 更新集合的签名 for i in range(num_hashes): if hash_funcs[i] in hash_val: set2_sig[i] = min(set2_sig[i], val) # 计算相似度 similarity = sum([set1_sig[i] == set2_sig[i] for i in range(num_hashes)]) / num_hashes return similarity ``` 这个实现中，我们使用了SHA1哈希函数来生成哈希值。在生成签名时，我们将哈希值分成了num_hashes组，并且每组取一个最小值作为签名。最后，我们计算两个集合的签名相同的元素个数，并用这个数值作为它们的相似度。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值