布隆过滤器:集合去重

布隆过滤器是一种空间效率极高的概率型数据结构,用于判断一个元素是否在一个集合中,可能存在误判但不会漏判。其工作原理是通过多个哈希函数将元素映射到位数组,插入和查询操作都基于位数组进行。随着元素增加,误判率会上升。布隆过滤器广泛应用于缓存系统、数据库、搜索引擎等领域,以减少不必要的资源消耗。
摘要由CSDN通过智能技术生成

简介

布隆过滤器(Bloom Filter)实际上是一个很长的二进制向量和一系列随机映射函数。

布隆过滤器可以用于检索一个元素是否在一个集合中。

原理

当一个元素被加入集合时,通过K个散列函数将这个元素映射成一个位数组中的K个点,把它们置为1。检索时,我们只要看看这些点是不是都是1:如果这些点有任何一个0,则被检元素一定不在;如果都是1,则被检元素很可能在集合中(获得在这个集合中的概率)。
在这里插入图片描述

False positives 概率推导

BloomFilter有以下参数:

  1. m 位数组的长度
  2. n 加入其中元素的数量
  3. k 哈希函数的个数
  4. f False Positive

假设 Hash 函数以等概率条件选择并设置 Bit Array 中的某一位,那么位数组中某一特定的位在进行元素插入时的 Hash 操作中没有被置位的概率是:

1 − 1 m 1-{1\over m} 1m1

那么在所有 k 次 Hash 操作后该位都没有被置 “1” 的概率是:

( 1 − 1 m ) k (1-{1\over m})^k (1m1)

  • 0
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值