斯坦福数据挖掘不同版本课件讲局部敏感哈希中MinHash的理解

最新推荐文章于 2020-12-19 05:32:18 发布
最新推荐文章于 2020-12-19 05:32:18 发布
阅读量1.6k 收藏 2
点赞数
分类专栏： 数据挖掘笔记 文章标签： 数据挖掘 MinHash 局部敏感哈希 课件版本
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/XiaoPANGXia/article/details/49643283
版权
        今天学习局部敏感哈希，看斯坦福的课件，他在讲将7维Input matrix (Shingles x Documents)用MinHash处理成3维Signature matrix 时那一步里面结果怎么也对不上，就是这张熟悉的图：描述是这样的：        我解读的应该是置换后一列中第一个是1的那行的行号，这样理解没什么问题吧，可是右边那个3*3的结果的表里咋没几个...
摘要由CSDN通过智能技术生成

        今天学习局部敏感哈希，看斯坦福的课件，他在讲将7维Input matrix (Shingles x Documents)用MinHash处理成3维Signature matrix 时那一步里面结果怎么也对不上，就是这张熟悉的图：

描述是这样的：

        我解读的应该是置换后一列中第一个是1的那行的行号，这样理解没什么问题吧，可是右边那个3*3的结果的表里咋没几个数对的上呢。

        查了网上很多地方介绍这一步的时候都是我这么理解的，而他们用的材料大多是下面这版：

最低0.47元/天 解锁文章
nankaizhl
关注
  • 0
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
在Spark上基于Minhash计算jaccard相似度
a_step_further的博客
07-28 1773
问题引入 在风控领域常会面临一种场景：随着安全策略的打击，部分已经显露的账号/用户会被稽核、处置，要么被动地被封停，要么被坏人干脆舍弃掉。坏人会重新注册新的账号进行活跃。而这些新老账号之间很可能没有直接的交易关系，甚至连登陆设备也不同，就较难发现其关联性。但有一点是较难隐藏的：上下游的关系链。因此，可以尝试通过关系网络结构上的相似性来量化两个账号之间的关联度，从而对于风险用户关联分析起到一个补充作用。 可用下图来辅助说明，x的交易流入方集合为{a,b,c,d}， y的交易流入方集合为{b,c,d}，一个
[spark-hash学习]minhash算法实现细节
午餐吃什么的博客
03-12 4557
Implementation Details Implementation of LSH follows the rough steps minhash each vector some number of times. The number of times to hash is an input parameter. The hashing function is defined in
SimilarityDetection:使用HadoopSpark中实现的MinHash和Random Projection在Wikipedia文章上进行相似性检测
04-30
相似度检测 在该项目中，我们基于Weissman的工作[1]，复制了一种新颖的相似度检测算法，以识别Wikipedia文章中几乎重复的句子。 这是通过MinHash和Random Projection的MapReduce / Spark实现实现的，它们是局部敏感哈希（LSH）技术，分别标识具有高Jaccard相似度和低汉明距离的句子。 我们的实验结果似乎支持Weissman [1]聚类结果的结论，并部分进行了人工检查。 基于他们的探索，我们引用了Minhash方法的MapReduce实现，以计算Spark框架上的签名和重新实现。 此外，我们探索了随机投影散列方法来计算签名，以在与minhash方法相同的Wikipedia源上检测相似的句子，并分别实现MapReduce框架和Spark框架。 [1] S. Weissman，S。Ayhan，J。Bradley和J. Lin。 在维基百科中
将集合转成特征矩阵并且使用最小Hash算法构造签名矩阵
红豆和绿豆的博客
01-11 4130
2、如何计算集合的最小hash值呢？ 主要也是通过特征矩阵的变换进行计算 3、具体的使用最小hash算法，将一个特征矩阵进行压缩，即构造签名矩阵，签名矩阵的每一列是n个hash函数的值，并且近似估计原始数据的jaccard的值。 实际中是如何计算的呢？ （1）首先自己常见n个h（x）函数 ，并且计算出对于原始行的hash值 （2）h（x）作用于每一行，如果当前的值为0，什么都不做
文档的相似度（2）--最小哈希签名
陌上行走的博客
03-18 7978
打开
lsb.zip_LSBtree_局部敏感_局部敏感哈希
最新发布
09-23
标题"lsb.zip_LSBtree_局部敏感_局部敏感哈希"中提到的"LSBtree"可能是对局部敏感哈希的一种实现，即利用LSH构建的数据结构，类似于B树。B树（B-tree）是一种自平衡的查找树，适用于大量数据的存储系统，如数据库和...
基于局部敏感哈希技术的能耗社区实时推荐系统
04-01
该推荐系统主要包括两个功能模块:1)离线数据处理模块,该模块采用局部敏感哈希技术对整个话题和资源集进行离线聚类处理;2)实时在线推荐模块,该模块及时获取用户在线行为和个人信息,为用户实时推荐感兴趣话题和资源....
基于位置信息熵的局部敏感哈希聚类方法
03-07
针对这些问题，提出一种基于位置信息熵的局部敏感哈希聚类方法。通过对生物序列使用 K 词计算其标准熵，将标准熵作为局部敏感哈希函数簇的特征向量，计算特征矩阵并应用于生物序列聚类。实验结果表明，该算法能够...
欧式距离的局部敏感哈希E2LSH.py
07-30
欧氏距离局部敏感哈希，每次描述资源都不知道说啥，还得凑够50个字，打了这么多字，想收一个积分了。没得编了，给出文章的链接吧。https://blog.csdn.net/Wolf_xujie/article/details/103847577
斯坦福大学CS246 海量数据挖掘 课程所有课件(pdf+ppt)
03-20
Mining Massive Data Sets 斯坦福大学CS246 海量数据挖掘 课程所有课件(pdf+ppt)
LSH 局部敏感哈希算法
01-15
LSH （Locality-sensitive-hashing）局部敏感哈希算法 matlab实现
局部敏感哈希，standford 课件
05-28
这个是standford 关于局部敏感哈希的课件。主要就是介绍了什么是局部敏感hash，minhash 的主要思想，以及相应的算法，怎么生成signature matrix 的基本算法，以及相关的运用。
LSH算法ppt
06-25
LSH算法，简单介绍，发展历程，改进，所涉及的论文和参考资料。
LSH局部敏感哈希的课件2
05-28
主要是讲LSH的第二部分，这一章节主要是讲局部敏感哈希的主要运用。
中科院大数据系统与大规模数据集分析 大数据挖掘教程 2-LSH 挖掘海量数据集寻找相似项目：局部敏感哈希算法共126页.pptx
04-05
中科院大数据系统与大规模数据集分析 大数据挖掘教程 2-LSH 挖掘海量数据集寻找相似项目：局部敏感哈希算法共126页.pptx
记录下minhash计算流程
jialeheyeshu的博客
05-13 984
以下是从教科书截取过来的讲解的非常清晰，记录一下： Now, let us simulate the algorithm for computing the signature matrix. Initially, this matrix consists of all ∞’s: First, we consider row 0 of Fig. 3.4. We see
minhash算法检索相似文本_数据挖掘: 文本相似项的发现
weixin_39790738的博客
12-19 226
一. 背景1. 算法应用短文本, 长文档, 网页以及新闻的相似度, 购物网站的协同过滤推荐算法2. problem找到所有相互距离在s以内的vector pairs, 设我们有n个vector.naive solution takes O(n^2)我们的目标是O(n).今天的例子以document similarity为例子.3. Jaccard distance/similaritysim(C1...
minHash(最小哈希)和LSH(局部敏感哈希)
热门推荐
liujan511536的专栏
08-17 2万+
在数据挖掘中，有一个比较基本的问题，就是比较两个集合的相似度。关于这个问题，最笨的方法就是用一个两重循环来遍历这两个集合中的所有元素，进而统计这两个集合中相同元素的个数。但是，当这两个集合里的元素数量非常庞大时，同时又有很多个集合需要判断两两之间的相似度时，这种方法就呵呵了，对内存和时间的消耗都非常大。因此，为了解决这个问题，数据挖掘中有另一个方法。 Jaccard相似度...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值