布隆过滤器简单实现添加和判断功能

最新推荐文章于 2024-03-26 08:21:05 发布
最新推荐文章于 2024-03-26 08:21:05 发布
阅读量1.7k 收藏
点赞数
文章标签： 布隆过滤器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_52012606/article/details/126144901
版权
本文介绍了布隆过滤器的基本原理、误判率、优缺点，并探讨了其在数据库防止穿库、判断用户行为和缓存穿透等场景的应用。通过代码实现展示了其功能。
摘要由CSDN通过智能技术生成

布隆过滤器

布隆过滤器是 1970 年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。主要用于判断一个元素是否在一个集合中。

通常我们会遇到很多要判断一个元素是否在某个集合中的业务场景，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路。但是随着集合中元素的增加，我们需要的存储空间也会呈现线性增长，最终达到瓶颈。同时检索速度也越来越慢，上述三种结构的检索时间复杂度分别为O ( n ) O(n)O(n)，O ( l o g n ) O(logn)O(logn)，O ( 1 ) O(1)O(1)。

这个时候，布隆过滤器（Bloom Filter）就应运而生。

初始态

添加两个值

误判率

布隆过滤器的误判是指多个输入经过

最低0.47元/天 解锁文章
C'z x
关注
Redis 中的布隆过滤器的实现
12-16
【布隆过滤器】是一种非常高效的空间节省型数据结构，用于判断一个元素是否可能存在于一个大规模集合中。它主要用于去重，特别是在处理大量数据时，如网页爬虫判断已访问URL的情况。传统的做法是将URL存入数据库或...
布隆(Bloom Filter)过滤器——全面讲解，建议收藏
hjseo_seg的博客
06-22 2998
本文已收录于专栏??《Redis之大厂必备技能包》??欢迎各位关注、三连博主的文章及专栏，全套Redis学习资料，大厂必备技能！目录1、什么是布隆过滤器2、布隆过滤器的使用场景3、布隆过滤器的原理3.1 数据结构3.2 空间计算3.3 增加元素3.4 查询元素3.5 修改元素3.6 删除元素4、Redis集成布隆过滤器4.1 版本要求4.2 安装&编译4.3 Redis集成5、Redis中布隆过滤器指令使用5.1 bf.add5.2 bf.madd5.3 bf.exists5.3 bf.mexists6、J
布隆过滤器的重置
qq_20171645的博客
08-20 547
布隆过滤器是不支持重置的，如果我们对数据库进行了写操作（insert、update、delete)，如何处理布隆过滤器中的数据？insert：直接向布隆过滤器中添加数据。update：id不变，更新的只是其他部分的数据。delete：重置布隆过滤器。
Bloom Filter （布隆过滤器）
weixin_62688907的博客
09-20 1331
一种支持删除的方法：将bloom filter中的每个比特位扩展成一个小的计数器，插入元素时给k个计数器（k个哈希函数计算出的哈希地址）加一，删除元素时，给k个计数器减一，通过多占用几倍的存储空间的代价来增加删除。我们在使用看b站时，它会不停给我们推送内容，但是每次推送的内容基本上都不是重复的，那么它是怎么做到推送去重的呢？怎么快速过滤掉用户已经查看过的内容呢？但是 1. 无法确认元素是否真正在布隆过滤器中。以两个hashfunc为例实现布隆过滤器。
布隆过滤器
爪哇人的博客
03-09 2739
1 概述 缓存穿透：去缓存层中没有命中数据，进而去mysql中查询数据 只要用了redis，就不能避免缓存穿透。但是我们可以避免高频的缓存穿透。 举例：有人恶意攻击一个网站，拿一个不存在的id去访问，此时redis中肯定没有这条数据，就会去请数据库，而数据库中同样的也不可能有。假使他的访问频率比较高，那么就会对数据库造成很大的压力。 解决方案： 1）缓存空数据，当从redis中访问不到，再去数据库中也访问不到时，就在redis中存取一个null值，这样每回他再次访问的时候就直接将null返回了。
Redis 之布隆过滤器，增强版，布谷鸟过滤器
yygr的博客
04-16 1169
https://www.cnblogs.com/Chary/p/15682276.html 大家都知道,在计算机中,IO一直是一个瓶颈,很多框架以及技术甚至硬件都是为了降低IO操作而生,今天聊一聊过滤器,先说一个场景: 我们业务后端涉及数据库,当请求消息查询某些信息时,可能先检查缓存中是否有相关信息,有的话返回,如果没有的话可能就要去数据库里面查询,这时候有一个问题,如果很多请求是在请求数据库根本不存在的数据,那么数据库就要频繁响应这种不必要的IO查询,如果再多一些,数据库大多数IO都在响应这种毫无
Python+Redis实现布隆过滤器
09-08
布隆过滤器是一种空间效率极高的概率型数据结构，用于判断一个元素是否可能在一个集合中。它由布隆于1970年提出，主要用于解决大数据存储...在Python中结合Redis实现布隆过滤器，可以进一步提升系统的性能和可扩展性。
java实现的布隆过滤器算法
07-27
布隆过滤器（Bloom Filter）是一种空间效率极高的概率型数据结构，用于判断一个元素是否在一个集合中。它可能会误判，但不会漏判，即如果它说一个元素在集合中，那可能是错误的，但如果它说一个元素不在集合中，那么...
Redis实现布隆过滤器的方法及原理
09-08
总的来说，Redis中的布隆过滤器是实现高效去重和空间优化的有效工具，虽然存在一定的误判风险，但在许多场景下，这种风险是可以接受的，特别是在需要快速判断元素是否存在且对误判容忍度较高的情况下。理解其工作...
Java实现布隆过滤器的方法步骤
08-26
在Redis中，可以通过模块或插件支持布隆过滤器，例如`bloom`模块，它提供了创建、添加元素和查询的操作，方便地在Redis中集成布隆过滤器的功能。 总的来说，Java实现布隆过滤器的关键在于合理选择位数组的大小和...
布隆过滤器详解
weixin_53870150的博客
08-20 1545
详解布隆过滤器，搞定布隆大部分知识点
布隆过滤器（Bloom Filter）全面讲解
流华追梦的专栏
12-01 1371
布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好得多，缺点是有一定的误识别率和删除困难。
Redis系列--布隆过滤器（Bloom Filter）
weixin_42972832的博客
06-16 7010
无论使用谷歌版本的布隆过滤器还是自己编写的，都会存在两个问题，1、因为不同元素经过hash函数计算后可能会出现相同的hash值（hash碰撞），就会出现一个误判率的问题2、因为有hash碰撞，导致同一个位置可能存放不同的数据，这对于删除操作是很不友好的。对于这些情况可查看另一种布隆过滤器，布谷鸟过滤器。
【Redis篇】详解布隆过滤器（原理 | 操作 | 代码）
小吉妙妙屋
02-18 1714
当我们要删除“hello”这个数据的时候，我们会删除存储“hello”这个数据的hash值的位置，由于“hello”和“你好”存储在同一位置，这样子会造成误删。综上所述，布隆过滤器具有高效的查询性能、较低的存储需求、支持高并发访问、可扩展性强和简单高效的实现等优点，使其成为解决大规模数据查询和去重等问题的有效工具。，当我们查询“你好”的时候，由于 假设“你好”和“hello”这2个数据的hash值一样，会造成误判。因为布隆过滤器就是一个二进制数据的集合，当有一个数据加入到这个集合的时候，会经过下面的步骤。
JAVA：利用布隆过滤器(BloomFilter)实现高效的去重和判重
最新发布
木头
03-26 1344
利用布隆过滤器(BloomFilter)实现高效的去重和判重
玩转布隆过滤器，其实很简单！
yehongzhi1994的博客
01-31 673
一篇文章带你玩转布隆过滤器
布隆过滤器的简易实现
mi_rencontre的博客
05-08 3181
布隆过滤器（Bloom Filter）： 是由布隆（Burton Howard Bloom）提出的。它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器用于检索一个元素是否在一个集合中。底层是利用哈希表来实现的，它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit Array）中的一个点。这样一来，我们只要看看这个点是不是 1 就知道可以集合中有没有它了。这就是
布隆过滤器的简单实现
everthing willl be ok
04-09 371
一、布隆过滤器 1、基本概念 它实际上是由一个很长的二进制向量和一系列随机映射函数组成，布隆过滤器可以用于检索一个元素是否在一个集合中。 2、基本思想 如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫...
Java实现布隆过滤器详解
"Java实现布隆过滤器的方法和原理，以及其在空间和时间效率上的优势。" 在软件开发中，布隆过滤器是一种高效的数据结构，用于判断一个元素是否可能存在于一个大型集合中，而不会产生误判。相较于传统的数据结构如...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值