【Redis】2.你能介绍一下布隆过滤器吗？

已于 2024-01-30 08:56:24 修改
阅读量875 收藏 20
点赞数 29
分类专栏： redis 文章标签： redis 数据库 缓存
于 2024-01-29 17:30:26 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_50446805/article/details/135917372
版权

目录

什么是布隆过滤器

为什么使用布隆过滤器

布隆过滤器原理

误判就是这样产生的

设计布隆过滤器

Liunx Redis安装布隆(Bloom Filter)过滤器

布隆过滤器介绍

什么是布隆过滤器

布隆过滤器能够实现使用较少的空间来高效判断一个指定的元素是否包含在一个集合中

布隆过滤器并不保存这些数据,所以只能判断是否存在,而并不能取出该元素

使用情景:凡是判断一个元素是否在一个集合中的操作,都可以使用它

布隆过滤器常见使用场景

  1. idea中编写代码,一个单词是否包含在正确拼写的词库中(拼写不正确划绿线的提示)

  2. 公安系统,根据身份证号\人脸信息,判断该人是否在追逃名单中

  3. 爬虫检查一个网址是否被爬取过

    ......

为什么使用布隆过滤器

常规的检查一个元素是否在一个集合中的思路是遍历集合,判断元素是否相等

这样的查询效率非常低下

要保证快速确定一个元素是否在一个集合中,我们可以使用HashMap

因为HashMap内部的散列机制,保证更快更高效的找到元素

所以当数据量较小时,用HashMap或HashSet保存对象然后使用它来判定元素是否存在是不错的选择

但是如果数据量太大,每个元素都要生成哈希值来保存,我们也要依靠哈希值来判定是否存在,一般情况下,我们为了保证尽量少的哈希值冲突需要8字节哈希值做保存

long取值范围:-9223372036854775808-----9223372036854775807

5亿条数据 每条8字节计算后结果为需要3.72G内存,随着数据数量增长,占用内存数字可能更大

所以Hash散列或类似算法可以保证高效判断元素是否存在,但是消耗内存较多

所以我们使用布隆过滤器实现,高效判断是否存在的同时,还能节省内存的效果

但是布隆过滤器的算法天生会有误判情况,需要能够容忍,才能使用

布隆过滤器原理

  • 巴顿.布隆于⼀九七零年提出

  • ⼀个很长的⼆进制向量（位数组）

  • ⼀系列随机函数 (哈希)

  • 空间效率和查询效率⾼(又小又快)

  • 有⼀定的误判率（哈希表是精确匹配）

如果我们向布隆过滤器中保存一个单词

semlinker

我们使用3个hash算法,找到布隆过滤器的位置

算法1:semlinker--> 2

算法2:semlinker--> 4

算法3:semlinker--> 6

会在布隆过滤器中产生如下影响

假设要查询 "Good" 这个单词在不在布隆过滤器中

算法1:Good-->7

算法2:Good-->3

算法3:Good-->6

我们判断Good单词生成的3,6,7三个位置,只要有一个位置是0

就表示当前集合中没有Good这个单词

一个布隆过滤器中不可能只存一个单词,一般布隆过滤器都是保存大量数据的

如果有新的元素保存在布隆过滤器中

kakuqo

算法1:kakuqo-->3

算法2:kakuqo-->4

算法3:kakuqo-->7

新的单词生成3,4,7三个位置

那么现在这个布隆过滤器中2,3,4,6,7都是1了

假如现在有单词bad,判断是否在布隆过滤器中

算法1:bad-->2

算法2:bad-->3

算法3:bad-->6

判断布隆过滤器2,3,6都是1,所以布隆过滤器会认为bad是存在于这个集合中的

误判就是这样产生的

布隆过滤器误判的效果:

  • 布隆过滤器判断不存在的,一定不在集合中

  • 布隆过滤器判断存在的,有可能不在集合中

过短的布隆过滤器如果保存了很多的数据,可能造成二进制位置值都是1的情况,一旦发送这种情况,布隆过滤器就会判断任何元素都在当前集合中,布隆过滤器也就失效了

所以我们要给布隆过滤器一个合适的大小才能让它更好的为程序服务

  • 优点

空间效率和查询效率⾼

  • 缺点

    • 有⼀定误判率即可（可以控制在可接受范围内）。

    • 删除元素困难(不能将该元素hash算法结果位置修改为0,因为可能会影响其他元素)

    • 极端情况下,如果布隆过滤器所有位置都是1,那么任何元素都会被判断为存在于集合中

    • 布隆过滤器不能保存集合的元素值

设计布隆过滤器

我们在启动布隆过滤器时,需要给它分配一个合理大小的内存

这个大小应该满足

1.内存占用在一个可接受范围

2.不能有太高的误判率(<1%)

内存约节省,误判率越高

内存越大,误判率越低

数学家已经给我们了公式计算误判率

上面是根据误判率计算布隆过滤器长度的公式

n 是已经添加元素的数量；

k 哈希的次数；

m 布隆过滤器的长度(位数的大小)

Pfp计算结果就是误判率

如果我们已经确定可接受的误判率,想计算需要多少位布隆过滤器的长度

布隆过滤器计算器

Bloom filter calculator

Liunx Redis安装布隆(Bloom Filter)过滤器

布隆过滤器（Bloom Filter）是 Redis 4.0 版本提供的新功能，最低redis版本为4.0；Linux下redis中添加布隆过滤器常见，网上也有很多方法，但是windows下我找了好久都没有找到合适的案例，因此使用了在docker中安装redisbloom。

安装参照

【Linux】Docker安装Redis之布隆过滤器-CSDN博客

一个想成为大神的男人
关注
  • 29
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis的布隆过滤器
西瓜游侠的博客
05-16 313
布隆过滤器可以理解为一个set，可以用来判断元素是否存在。会有一定的误判，但是通过调整布隆过滤器的参数，误判率可以控制在很小的范围。 Redis安装布隆过滤器 Redis中是通过插件的形式支持布隆过滤器的。 为了省去繁琐的安装，可以借助redislabs/rebloom镜像来学习。 [root@localhost ~]# docker pull redislabs/rebloom [root@localhost ~]# docker run -p 6379:6379 -d --name=my-redis-b
Redis布隆过滤器
Tyshawn的博客
02-19 482
在redis中我们可以使用布隆过滤器(BloomFilter)来解决缓存穿透的问题, 具体流程就是, 在更新缓存时, 我们会将缓存数据的key添加到布隆过滤器中, 然后在查询缓存之前, 我们先判断key在布隆过滤器中是否存在, 存在才去查询缓存, 不存在则直接返回空. 布隆过滤器(BloomFilter) 是一种插入和查询性能非常高的数据结构, 功能有点类似于HashMap, 但相对于HashMa...
Redis-布隆过滤器解决穿透详解
Wzill
02-04 1096
布隆过滤器可以帮助我们解决Redis缓存雪崩的问题，那什么是布隆过滤器、布隆过滤器又是如何使用如何解决缓存雪崩的问题的，让我们带着这一系列的问题去详细了解布隆过滤器。布隆过滤器适用于需要快速判断一个元素是否可能存在于集合中的场景，例如网络爬虫中的去重、缓存中的数据判断等。但需要注意的是，布隆过滤器无法删除元素，也无法准确地判断一个元素是否存在于集合中，因此在一些场景下可能会产生误判。🎯🎯。
python redis 布隆过滤器实现
u011342224的博客
11-03 903
如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路。但是随着集合中元素的增加，我们需要的存储空间越来越大。同时检索速度也越来越慢，上述三种结构的检索时间复杂度分别为 O(n),O(log n),O(1)。
Python+Redis实现布隆过滤器
01-21
布隆过滤器是什么 　布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比...
RedisBloom-2.2.6.zip | Redis布隆过滤器下载
11-12
RedisBloom是一个专门为Redis设计和实现的布隆过滤器扩展模块。它允许用户在Redis数据库中存储和查询可能存在的元素，特别适用于空间效率要求高的场景，例如防止重复数据存储、检查一个元素是否可能存在于大数据集中...
Redis 中的布隆过滤器的实现
12-16
【布隆过滤器】是一种非常高效的空间节省型数据结构，用于判断一个元素是否可能存在于一个大规模集合中。它主要用于去重，特别是在处理大量数据时，如网页爬虫判断已访问URL的情况。传统的做法是将URL存入数据库或...
【速览】Redis（更新中）
椰子的职场成长记录
08-20 154
Redis 支持多种数据结构，如字符串（strings）、哈希（hashes）、列表（lists）、集合（sets）、有序集合（sorted sets）等。持久化：Redis 支持两种持久化方式，RDB（快照）和 AOF（追加文件），以确保数据在重启后不会丢失。原子操作：Redis 的所有操作都是原子的，这使得它非常适合于需要高并发和数据一致性的场景。Lua 脚本：Redis 支持在服务器端执行 Lua 脚本，可以用于实现复杂的业务逻辑。事务支持：Redis 支持事务，可以将多个命令打包在一起执行。
基于Redisson实现延迟队列
许你安然的博客
08-20 285
延迟队列是一种常见的消息队列实现，用于处理需要在指定时间后执行的任务。Redisson是一个基于Redis的Java驻内存数据网格（In-Memory Data Grid）和远程计算解决方案，提供了丰富的分布式数据结构和服务，包括延迟队列。本文将介绍如何使用Redisson实现延迟队列，并给出基于Java的代码示例。本文介绍了如何使用Redisson实现延迟队列，并给出了基于Java的代码示例。通过将待执行的任务按照执行时间存储在延迟有序集合中，并使用轮询机制查询已到期的任务来实现延迟队列的功能。
redis事件机制
笑笑布丁的博客
08-16 644
aeApiAddEvent、aeApiDelEvent：增加或删除一个监听对象。aeEventLoop：redis事件循环器，负责管理事件。aeFileEvent：存储一个文件描述符已注册的文件事件。aeApiPoll：阻塞进程，等待事件就绪或给定事件到期。aeApiCreate：初始化I/O复用机制上下文环境。aeTimeEvent：存储一个时间事件的信息。
【Redis】集合类型详解及实际应用场景分析：从命令操作到内部编码
Hsusan的博客
08-20 308
如果 set1 和 set2 中都有一个 1，此时让 set1 的 1 移动到 set2 中，最终返回值是 1，即移动成功，set1 的 1 不见了，set2 的 1 也还在。注意，由于 set 内的元素是⽆序的，所以取出哪个元素实际是未定义⾏为，即随机删除，这里是真随机，而不是伪随机。这里的无序，是指变换一下元素的顺序，集合还是一样的集合，而不是说顺序逆序的无序。获取⼀个 set 的基数（cardinality），即 set 中的元素个数。获取⼀个 set 中的所有元素，注意，元素间的顺序是⽆序的。
Redis中String数据类型常用命令
m0_65347933的博客
08-16 424
Redis中String数据类型常用命令：1、基本操作；2、计数与长度；3、设置和获取部分值；4、过期与持久化
8.20 Redis ACL配置 多个用户连接同一个Redis
LX220619的博客
08-20 171
（3）**ACL SETUSER userName >password** 此处是设置密码的命令，userName和password实际替换为用户名和密码 例如 ACL SETUSER zhangsan >123456。（4）创建完用户密码以后 此时用户默认是没有启用的 可以在**ACL LIST** 命令中查看到该用户的状态是off 启用用户的命令为：**ACL SETUSER 用户名 on****四、redis acl还可以进行删除用户 以及对用户的其他权限控制****三、权限配置**
redis I/O复用机制
笑笑布丁的博客
08-16 794
epoll是linux提供的I/O复用API，是一种事件驱动的I/O模型，它可以用于高效地处理大量的并发连接。其中，'e’代表"event"（事件），意味着epoll可以监测并响应特定的事件，如文件描述符上的读写事件、错误事件等。用一个进程监听大量连接，当某个连接可读/可写的时候，系统就发送事件通知进程处理该连接的数据。串行化处理，就是要等，假如进行到accept操作，cpu需要等待客户端发送的数据到tcp接收缓冲区才能进行read操作，而在此期间cpu不能执行任何操作。
Redis常用数据结构常用命令总览
最新发布
aaqq800520的博客
08-20 464
命令查询传送门Redis远程字典服务器（4）—— string类型详解Redis远程字典服务器（5） —— hash类型详解Redis远程字典服务器（6） —— list类型详解-CSDN博客 Redis远程字典服务器（7）—— set类型详解Redis远程字典服务器（8）—— zset类型详解-CSDN博客zrank key memberzrevrank key membezrange key start end [withscores]zrevrange key start end [withscore
01、Redis入门：数据类型、基本操作、SpringDataRedis
u012011912的博客
08-20 605
存储方式关系型数据库基于磁盘进行存储，会有大量的磁盘IO，对性能有一定影响非关系型数据库，他们的操作更多的是依赖于内存来操作，内存的读写速度会非常快，性能自然会好一些扩展性关系型数据库集群模式一般是主从，主从数据一致，起到数据备份的作用，称为垂直扩展。非关系型数据库可以将数据拆分，存储在不同机器上，可以保存海量数据，解决内存大小有限的问题。称为水平扩展。关系型数据库因为表之间存在关联关系，如果做水平扩展会给数据查询带来很多麻烦。
Redis三个版本（3.x,4.x,6.x）对于多线程的使用比对
m0_37903574的博客
08-15 527
redis 3.x不支持多线程，请求数据顺序执行，对于多个客户端并发访问redis-server时的执行状态如下，我们假如每个圆圈的执行时间是一致的代表一个执行单位，那么redis3.x的执行时间就是六个执行单位。对于redis6.x，开启多线程执行后，主线程的顺序执行只在执行阶段，前置的解析阶段，到后面的返回阶段都可以交由子线程去执行。. 对于redis4.x而言，其能支持的多线程的命令比较有限。
【Redis】Redis典型应用-分布式锁
qq_55119554的博客
08-16 1789
Redis作为分布式锁！！！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值