哈希 & 布隆过滤器(转载)

转:https://blog.csdn.net/duoduo18up/article/details/80573040

哈希函数:

常见的功能就是 打乱分布  均匀随机   输入无穷大  输出却在一定范围内    

即使出现碰撞 但是每个输出对应的输入个数 概率均匀分布   没有太大偏向

一个重要的性质:  如果在input域上均匀分布  那么经过哈希并%m 运算后(在0~m-1范围内)    在输出域上同样均匀分布

 

 

哈希表:

经典结构:

根据key算出具体的hashcode值(h)----决定了value的存放位置

若 h 位置处为空  则直接将key1-value1 放入

若h位置处不为空  检查是否已有key1     若已有  则更新其对应value值   否则 直接按照链表格式,节点连在上一节点后面

 

 

 

经典应用:

场景题:  如果现在有一个超级大的文件,需要统计其中重复的字符串 ,我们要怎么办?

目前已知的:  可以供给1000台计算机   读取细节不用关心 只需要设计大概系统

思路 :哈希的分流特性  

具体操作:  将大文件读取很多行   每一行都计算哈希值  并模1000   则这些字符串均匀分布在0-999范围内

给电脑编号0-999   对应分布在一个范围内的一些字符串用同一台电脑进行处理  达到大数据分流的效果(类似于分布式)

每台电脑只统计自己处理的重复字符串  最后将结果进行汇总即可   

总结

大数据相关的问题 有一半都是借助于哈希来解决  因为哈希具有“相同的肯定相同 不同的均匀分布”特性

在桶不够用时可以进行扩容   代价也还可以接受    一般是O(lognN)

 

 

 

 

 

 

设计一个RandomPool结构:

思路:

因为  getRandom()函数要求等概率随机返回结构中的任意一个key 

所以  一张哈希表在小样本情况下无法做到随机 需要至少两张哈希表

举例:

现在有26个字符串

分别按照顺序放入两个表中   两个表的key value 是对应的

用size统计此时表中数据个数   最后getRandom()时候直接 Math.random()*26  来获取map2中对应key的value

 

 

 

部分代码:

 

解决难点:  删除过程中会在原有随机结构中出现好多洞  导致随机性变差   如何解决此问题?

思路:  

 

z最终的总代码:

 

 

 

 

 

 

 

布隆过滤器:

 

初识布隆过滤器:

 

举例:  假如有一个100亿 的url的黑名单,希望用户在搜索这些url时,会将 在黑名单中的url 过滤出去,不进行显示。

每个url都是64字节。 应该如何实现这个操作?   

最直观的想法:   就是查找用户搜索的url  是否在黑名单中,根据具体情况返回布尔值 true or false.

思路1 :

考虑直接用哈希表 进行存储。  不用存value,直接存key ,则至少需要内存为 6400亿字节的hashset 数据结构(即640G) 

这个内存很大,实际中我们可能需要多台电脑来操作(分布式)。

或利用哈希函数进行分流 但仍然很麻烦。

思路2 :

布隆过滤器(某种类型的集合,但是存在失误率)

存在的唯一失误率:  如果确实在黑名单里的url肯定能够正确判断  但可能出现: 不在黑名单中的url但是它返回true   的情况~

 

一般这种类型的题目:

最好先说 哈希表的经典解法   ------多台电脑分流之类的

改进:  因为经典方法耗费内存太大----那询问是否允许较低的失误率----允许的话则可以采用布隆过滤器 

 

 

 

布隆过滤器的细节:

结构:其实是一个bit数组  数组中存的是bit(0/1)  

举例:

新建int数组 但其实相当于32000长度的bit数组

想要将第30000bit位上的数组描黑 -----则先确定在哪个大桶内-----再确定在那个桶中的哪个位上---原来数字和第bitIndex  bit位上为1 的数字进行位或-----即得结果

 

实现:

拿基础类型即可实现

要想再大  可以拿矩阵来表示  直接如上1000*1000*64bit

 

 

黑名单问题的解决:

 

1  先准备一个长度为m bit 的数组       (范围为0--m-1) 

2  布隆过滤器  预先准备多个hash函数 (hash1 ---hash2---hash3....hashk)

3  将黑名单中的url1(假设为第一条url)  分别经过上述k 个hash函数  计算出对应的k个 哈希值 ---并在数组中对应位置上描黑

4  将黑名单中所有的url都进行第3步操作    记录完毕

 

如何判断用户搜索的url是否在黑名单中?

同样将url经过第3步操作去看计算出的k个值对应的位置上是否都被描黑 若有一个不符合 则不是黑名单中的  否则 就在黑名单中

 

 

 

相关的参数大小:

 

 

如何解决误判问题:

 

相关问题:

 

 

 

 

 

一致性哈希:

一般应用在服务器集群上 用以实现数据缓存

应用场景举例:

 

前端收到大量用户请求  ,该如何让后台的服务器进行储存和处理呢?

使用哈希---计算出对应哪个服务器处理----查询时---计算哈希---去找对应的服务器去查找

 

 

具体原理:

 

 

可能出现的问题及解决方法:

 

  

 

 

具体确定归属的细节:

 

 

增加机器时候的处理方法:

 

 

机器负载不均时的处理(虚拟节点机制):

 

 

 

一致性哈希常用于负载均衡  分布式  服务器~~

 

 

 

 

 


并查集:

 

并查集中集合的初始化过程:

 

 

 

 

并查集的代表节点


在并查集中查一个节点属于哪个集合?

 

 

 

 

如何路径压缩?

 

 

           

 

 

 

集合如何合并?

 

 

            

 

 

 

代码:

 

1 .初始化并查集:

 

2 .查找某个节点所在集合的代表节点:

        非递归版本代码    

 

 

3 .集合的合并

 

 

 

用途:

 

 

 

 

 

岛问题:

 

 

 

正常方法(递归法):

设置一个感染函数G  假设遇到一片1(可能上下左右均有)  则均感染为2   并计数+1   继续前进   

 

总结:此方法类似于DFS,就是深度搜索  没有什么新意

          而且矩阵一旦特别大则不实用 仅适合单cpu运行   

如何能够多cpu并行运行,提高速度和效率呢?

 

 

 

 

并查集方法:

考虑分别的岛个数 和  边界处可能 合并的岛个数:

大概原理:  分别统计各自部分的岛个数----在边界处标明是受哪个元素“感染”的,然后检查集合并合并 ,总数-1 

 

此处用并查集的优势:  涉及到大量集合合并 判断是否是一个集合的运算

 

 

总结:

用多个cpu  分成多个部分 最终就只要每一个负责统计自己部分 的岛个数 并记录四周的边界情况即可 

 

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值