布隆过滤器的增强实现布谷鸟过滤器来了

最新推荐文章于 2024-07-13 19:58:15 发布

Java小果

最新推荐文章于 2024-07-13 19:58:15 发布

阅读量597

点赞数

文章标签： java 开发语言后端程序人生架构

本文链接：https://blog.csdn.net/uuuyy_/article/details/121951841

版权

本文介绍了布隆过滤器及其存在的误判和无法删除数据的问题，提出了一种增强版——布谷鸟过滤器。布谷鸟过滤器通过哈希映射解决删除操作，并优化了空间利用率和查询性能，但仍有误判可能性。文章详细解释了布谷鸟过滤器的工作原理，包括布谷鸟哈希和其优化策略。

摘要由CSDN通过智能技术生成

大家都知道,在计算机中,IO一直是一个瓶颈,很多框架以及技术甚至硬件都是为了降低IO操作而生,今天聊一聊过滤器,先说一个场景:

我们业务后端涉及数据库,当请求消息查询某些信息时,可能先检查缓存中是否有相关信息,有的话返回,如果没有的话可能就要去数据库里面查询,这时候有一个问题,如果很多请求是在请求数据库根本不存在的数据,那么数据库就要频繁响应这种不必要的IO查询,如果再多一些,数据库大多数IO都在响应这种毫无意义的请求操作,那么如何将这些请求阻挡在外呢?过滤器由此诞生:

- 布隆过滤器 -

布隆过滤器(Bloom Filter)大概的思路就是,当你请求的信息来的时候,先检查一下你查询的数据我这有没有,有的话将请求压给数据库,没有的话直接返回,是如何做到的呢?

布隆过滤器的增强实现布谷鸟过滤器来了

如图,一个bitmap用于记录,bitmap原始数值全都是0,当一个数据存进来的时候,用三个Hash函数分别计算三次Hash值,并且将bitmap对应的位置设置为1,上图中,bitmap 的1,3,6位置被标记为1,这时候如果一个数据请求过来,依然用之前的三个Hash函数计算Hash值,如果是同一个数据的话,势必依旧是映射到1,3,6位,那么就可以判断这个数据之前存储过,如果新的数据映射的三个位置,有一个匹配不上,假如映射到1,3,7位,由于7位是0,也就是这个数据之前并没有加入进数据库,所以直接返回。