如何判断一个元素是否存在于数亿级数据集中?

我们通过一个例子来理解其原理。

假设一个二进制数组,长度为8,初始值都为0(0表示不存在)。

图片

现添加元素 张三,先通过hash函数定位其在二进制数组的位置,然后将此位置的值设为1

hash1(张三) % 8 = 4

图片

现在需要判断 李四 是否存在,用同样的方法计算出其位置,然后取此位置的值

图片

值为0,说明 李四 不存在。

这就是基本原理。

我们都知道哈希冲突是普遍存在的,所以通过一个hash函数定位元素是不可靠的。

例如张三、王五的hash定位都是4:

hash1(张三) % 8 = 4hash1(王五) % 8 = 4

张三 是已经存在的元素,王五不存在,但因为[4] 的值是 1,所以对王五的判断结果是存在,这就误判了。

为了解决哈希冲突的问题,通常会使用多个hash函数对元素进行定位,例如:

图片

同一个元素,经过多个不同的hash算法,计算出来的结果相同的概率就非常低了。

计算出来的位置的值如果包含0,那么可以肯定元素一定不存在

相反,如果都是1,却不能肯定元素一定存在,因为可能有哈希冲突

如何判断一个元素是否存在于一个亿级数据集中? 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值