布隆过滤器(Bloom Filter)原理及优缺点简介

前言

今天遇到的新鲜面试题:

问数据量在million级别的情况下,怎么快速判断一个data是不是在数据库中出现过,

当时没想到怎么做,回了家一拍大腿才想起来这是布隆过滤器……

唉,在极客时间学过这个概念,但是学完之后再也没用到过,而且太久没打LOL了,所以远远地抛到脑后……

今天赶快复习一下……

 

作用

布隆过滤器用于检索一个元素是否存在一个集合里。

 

特点

优点:空间效率 和 时间效率 都非常高

缺点:存在误识别率并且删除困难。

注意⚠️:此处的误识别率是指,当一个布隆过滤器判断一个数据在集合中存在时,有一定的可能性误判;但如果布隆过滤器判断一个数据不在集合中时,则100%正确。

 

原理

(注:以下两张图均来自《算法面试通关40讲》)

如上图所示,使用哈希函数将每个元素映射到一个二进制向量的三个位上,

将集合中每个元素对应的三个位记录成1。

当需要判断一个新的元素w 在不在集合中时,可以先计算出w的三个位,

然后只要发现其中存在任何一个位为0, 则可以100%肯定,w不在此集合中。

再来个例子:

假设集合中已经存在元素A和元素E,

需要判断元素 A, B, C在不在集合里,

看上图可以发现, 元素B对应的两个key位出现映射冲突,即恰好都是1,所以布隆过滤器会认为元素B存在于集合中,

但实际上B并不在集合里,这即是布隆过滤器误识别率的体现。

 

 

 

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
布隆过滤器Bloom Filter)是一种重要的数据结构,它用于快速判断一个元素是否存在于一个集合中。布隆过滤器的核心思想是通过一系列哈希函数来对元素进行多次哈希,然后将得到的哈希值映射到一个位数组中,并将对应的位置设为1。当需要判断一个元素是否存在时,同样对其进行多次哈希,检查对应位数组的值是否都为1,若都为1则可以确定元素可能存在;若存在一个0,则可以确定元素一定不存在。因此,布隆过滤器是一种基于概率的数据结构,可以高效地进行查找。 然而,布隆过滤器也存在一些问题。首先,由于多个不同的元素可能会哈希到相同的位上,因此在查询时可能出现误判,即判断一个元素存在时实际上并不存在。这种误判是由于多个元素共享了某一位的原因导致的。其次,布隆过滤器的特性决定了它无法支持元素的删除操作,因为删除一个元素可能会影响其他元素的判断结果,从而增加误判率。 要注意的是,计数布隆过滤器(Counting Bloom Filter)提供了一种实现删除操作的可能性,但并不能保证在后续查询时该值一定返回不存在。因此,不能说计数布隆过滤器支持删除,而是说计数布隆过滤器提供了实现删除的可能。 [3<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [【海量数据处理】布隆过滤器BloomFilter](https://blog.csdn.net/qq_43727529/article/details/127180864)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] - *3* [Java --- redis7之布隆过滤器BloomFilter](https://blog.csdn.net/qq_46093575/article/details/130613434)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v92^chatsearchT0_1"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值