Redis安装布隆过滤器

最新推荐文章于 2024-10-07 10:23:33 发布
最新推荐文章于 2024-10-07 10:23:33 发布
阅读量1.1k 收藏 3
点赞数 3
分类专栏： redis 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-NC-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ZGL_cyy/article/details/131094869
版权

目录

1 什么是布隆过滤器

在这里插入图片描述

使用布隆过滤器来解决缓存穿透问题

1.1 布隆过滤器的原理

​ 布隆过滤器其本质就是一个只包含0和1的数组，具体操作当一个元素被加入到集合里面后，该元素通过K个Hash函数运算得到K个hash后的值，然后将K个值映射到这个位数组对应的位置，把对应位置的值设置为1。查询是否存在时，我们就看对应的映射点位置如果全是1，他就很可能存在（跟hash函数的个数和hash函数的设计有关），如果有一个位置是0，那这个元素就一定不存在。

在这里插入图片描述

1.2 布隆过滤器缺点

bloom filter之所以能做到在时间和空间上的效率比较高，是因为牺牲了判断的准确率、删除的便利性

  • 存在误判，可能要查到的元素并没有在容器中，但是hash之后得到的k个位置上值都是1，如果bloom filter中存储的是黑名单，那么可以通过建立一个白名单来存储可能会误判的元素
  • 删除困难，一个放入容器的元素映射到bit数组的k个位置上是1，删除的时候不能简单的直接置为0，可能会影响其他元素的判断，可以采用Counting Bloom Filter

2 插件形式安装

2.1 下载布隆过滤器插件

在redis布隆过滤器插件地址下载最新的release源码，在编译服务器进行解压编译


 wget https://github.com/RedisBloom/RedisBloom/archive/v2.2.4.tar.gz

解压插件进行插件的编译


tar RedisBloom-2.2.4.tar.gz
cd RedisBloom-2.2.4
make

编译得到动态库rebloom.so 启动redis时，如下启动即可加载bloom filter插件

配置文件形式配置


#在redis配置文件(redis.conf)中加入该模块即可
vim redis.conf
#添加
loadmodule /root/bloom/redisbloom-2.2.4/rebloom.so （前面为你自己的路径）

启动命令挂载


redis-server redis.conf --loadmodule /usr/rebloom/rebloom.so INITIAL_SIZE 1000000   ERROR_RATE 0.0001   
#容量100万, 容错率万分之一, 占用空间是4m

3 docker方式单机安装


docker run -d -p 6379:6379 --name redis-redisbloom redislabs/rebloom:latest

4 Redis集群部署安装

4.1 创建目录


mkdir -p /tmp/etc/redis/
mkdir -p /tmp/data/redis/node{1..6}

4.2 redis配置文件

将配置文件写入到redis文件中


cat > /tmp/etc/redis/redis.conf<< EOF
protected-mode no
port 6379
tcp-backlog 511
timeout 0
tcp-keepalive 300
daemonize no
supervised no
pidfile /var/run/redis_6379.pid
loglevel notice
logfile ""
databases 1
always-show-logo yes
save 900 1
save 300 10
save 60 10000
stop-writes-on-bgsave-error yes
rdbcompression yes
rdbchecksum yes
dbfilename dump.rdb
rdb-del-sync-files no
dir ./
replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-diskless-load disabled
repl-disable-tcp-nodelay no
replica-priority 100
acllog-max-len 128
lazyfree-lazy-eviction no
lazyfree-lazy-expire no
lazyfree-lazy-server-del no
replica-lazy-flush no
lazyfree-lazy-user-del no
oom-score-adj no
oom-score-adj-values 0 200 800
appendonly yes
appendfilename "appendonly.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-load-truncated yes
aof-use-rdb-preamble yes
lua-time-limit 5000
cluster-enabled yes
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
slowlog-log-slower-than 10000
slowlog-max-len 128
latency-monitor-threshold 0
notify-keyspace-events ""
hash-max-ziplist-entries 512
hash-max-ziplist-value 64
list-max-ziplist-size -2
list-compress-depth 0
set-max-intset-entries 512
zset-max-ziplist-entries 128
zset-max-ziplist-value 64
hll-sparse-max-bytes 3000
stream-node-max-bytes 4096
stream-node-max-entries 100
activerehashing yes
client-output-buffer-limit normal 0 0 0
client-output-buffer-limit replica 256mb 64mb 60
client-output-buffer-limit pubsub 32mb 8mb 60
hz 10
dynamic-hz yes
aof-rewrite-incremental-fsync yes
rdb-save-incremental-fsync yes
jemalloc-bg-thread yes
loadmodule /etc/redis/redisbloom.so
EOF

这里将本地编译好的redisbloom.so挂载到/etc/redis/redisbloom.so目录

4.3 配置docker-compose.yml文件


version: '2'
services:
    redis01:
        image: redis
        hostname: redis01
        container_name: redis01
        networks:
            docker-network:
                ipv4_address: 172.18.0.2
        ports:
            - "7001:6379"
        volumes:
            - "/tmp/etc/redis/redis.conf:/etc/redis/redis.conf"
            - "/tmp/data/redis/node1:/data"
            - "/tmp/etc/redis/redisbloom.so:/etc/redis/redisbloom.so"
        command:
           redis-server /etc/redis/redis.conf
    redis02:
        image: redis
        hostname: redis02
        container_name: redis02
        networks:
            docker-network:
                ipv4_address: 172.18.0.3
        ports:
            - "7002:6379"
        volumes:
            - "/tmp/etc/redis/redis.conf:/etc/redis/redis.conf"
            - "/tmp/data/redis/node2:/data"
            - "/tmp/etc/redis/redisbloom.so:/etc/redis/redisbloom.so"
        command:
           redis-server /etc/redis/redis.conf
    redis03:
        image: redis
        hostname: redis03
        container_name: redis03
        networks:
            docker-network:
                ipv4_address: 172.18.0.4
        ports:
            - "7003:6379"
        volumes:
            - "/tmp/etc/redis/redis.conf:/etc/redis/redis.conf"
            - "/tmp/data/redis/node3:/data"
            - "/tmp/etc/redis/redisbloom.so:/etc/redis/redisbloom.so"
        command:
            redis-server /etc/redis/redis.conf
    redis04:
        image: redis
        hostname: redis04
        container_name: redis04
        networks:
            docker-network:
                ipv4_address: 172.18.0.5
        ports:
            - "7004:6379"
        volumes:
            - "/tmp/etc/redis/redis.conf:/etc/redis/redis.conf"
            - "/tmp/data/redis/node4:/data"
            - "/tmp/etc/redis/redisbloom.so:/etc/redis/redisbloom.so"
        command:
            redis-server /etc/redis/redis.conf
    redis05:
        image: redis
        hostname: redis05
        container_name: redis05
        networks:
            docker-network:
                ipv4_address: 172.18.0.6
        ports:
            - "7005:6379"
        volumes:
            - "/tmp/etc/redis/redis.conf:/etc/redis/redis.conf"
            - "/tmp/data/redis/node5:/data"
            - "/tmp/etc/redis/redisbloom.so:/etc/redis/redisbloom.so"
        command:
            redis-server /etc/redis/redis.conf
    redis06:
        image: redis
        hostname: redis06
        container_name: redis06
        networks:
            docker-network:
                ipv4_address: 172.18.0.7
        ports:
            - "7006:6379"
        volumes:
            - "/tmp/etc/redis/redis.conf:/etc/redis/redis.conf"
            - "/tmp/data/redis/node6:/data"
            - "/tmp/etc/redis/redisbloom.so:/etc/redis/redisbloom.so"
        command:
            redis-server /etc/redis/redis.conf

networks:
    docker-network:
        ipam:
            config:
                - subnet: 172.18.0.0/16
                  gateway: 172.18.0.1

4.4 启动布隆过滤器集群


docker-compose up -d

4.5 配置集群

进入一个容器

x
docker exec -ti redis01 /bin/bash

执行创建集群命令

x
redis-cli --cluster create 172.18.0.2:6379 172.18.0.3:6379 172.18.0.4:6379 172.18.0.5:6379 172.18.0.6:6379 172.18.0.7:6379 --cluster-replicas 1

4.6 布隆过滤器常用命令

命令功能参数
BF.RESERVE创建一个大小为capacity，错误率为error_rate的空的BloomBF.RESERVE {key} {error_rate} {capacity} [EXPANSION expansion] [NONSCALING]
BF.ADD向key指定的Bloom中添加一个元素itemBF.ADD {key} {item}
BF.MADD向key指定的Bloom中添加多个元素BF.MADD {key} {item} [item…]
BF.INSERT向key指定的Bloom中添加多个元素，添加时可以指定大小和错误率，且可以控制在Bloom不存在的时候是否自动创建BF.INSERT {key} [CAPACITY {cap}] [ERROR {error}] [EXPANSION expansion] [NOCREATE] [NONSCALING] ITEMS {item…}
BF.EXISTS检查一个元素是否可能存在于key指定的Bloom中BF.EXISTS {key} {item}
BF.MEXISTS同时检查多个元素是否可能存在于key指定的Bloom中BF.MEXISTS {key} {item} [item…]
BF.SCANDUMP对Bloom进行增量持久化操作BF.SCANDUMP {key} {iter}
BF.LOADCHUNK加载SCANDUMP持久化的Bloom数据BF.LOADCHUNK {key} {iter} {data}
BF.INFO查询key指定的Bloom的信息BF.INFO {key}
BF.DEBUG查看BloomFilter的内部详细信息（如每层的元素个数、错误率等）BF.DEBUG {key}

4.7 测试

可以登录集群执行命令


# 进入一个redis集群的节点内部
docker exec -ti redis01 /bin/bash
# 以集群方式登录172.18.0.2:3306节点
redis-cli -h 172.18.0.2 -c
# 在redis中添加一个布隆过滤器 错误率是0.01 数量是1万个
BF.RESERVE bf_test 0.01 10000 NONSCALING
# 在bf_test 的布隆过滤器添加一个key
BF.ADD bf_test key
# 验证布隆过滤器key是否存在
BF.EXISTS bf_test key
# 验证布隆过滤器key1是否存在
BF.EXISTS bf_test key1
redis实现布隆过滤器
lonely_baby的博客
02-22 426
同时，为了避免哈希函数之间的冲突，需要选择一组不同的哈希函数，并确保哈希函数的散列函数的输出值的分布尽可能均匀，以减少误判的可能性。另外，需要注意的是，布隆过滤器在使用中可能会产生一定的误判率，即某个字符串被判定为存在于布隆过滤器中，但实际上并没有添加过。对于每个要查询的字符串，同样将其传入k个哈希函数中，得到k个位置，检查这些位置上的位是否都为1。对于每个要加入布隆过滤器的字符串，将其分别传入k个哈希函数中，得到k个位置，并将这些位置上的位都设为1。如果所有位置上的位都为1，则可能存在误判；
基于Redis的布隆过滤器
04-30
基于Redis的布隆过滤器，内含scrapy示例程序，github地址：https://github.com/kongtianyi/BloomFilterRedis
Redis-布隆过滤器
zxl1252277960的博客
04-05 245
目录简介安装布隆过滤器下载并安装布隆过滤器启动 Redis 服务器启动验证 简介 我们前面有讲到过 HyperLogLog 可以用来做基数统计，但它没提供判断一个值是否存在的查询方法，那我们如何才能查询一个值是否存在于海量数据之中呢？ 讲个使用场景，比如我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？ 你会想到服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉
重学SpringBoot3-集成Redis（五）之布隆过滤器
最新发布
CoderJia的学习之路
10-07 1347
布隆过滤器是一种空间效率高的概率性数据结构，用于快速判断某个元素是否在集合中。内存占用小：相比传统的集合结构，布隆过滤器的内存使用更少。可能存在误判：布隆过滤器只能确定某个元素“可能存在”或“绝对不存在”。但存在误判的概率可以通过调整参数降低。不支持删除：布隆过滤器不支持删除已添加的元素，删除某个元素会导致误判率增加。通过结合Redis和Redisson，我们可以非常方便地实现布隆过滤器，来防止缓存穿透问题。在高并发场景下，布隆过滤器是一种有效的工具，可以降低数据库的压力，提升系统性能。
Redis 的布隆过滤器的安装及其使用
qq_40230026的博客
02-22 3896
文章目录1：什么是布隆过滤器1.1：使用场景1.2：布隆过滤器2：布隆过滤器的安装 （不要下载 master 版本）2.1: 找到源码压缩包地址2.2：linux 系统中进行下载2.3：编译2.4：启动 redis 挂载 redisbloom.so2.5：启动 redis 客户端3：布隆过滤器的使用4：布隆过滤器被穿透 1：什么是布隆过滤器 1.1：使用场景 redis 中有这么个场景：缓存中没有，直接去数据库访问，其实数据库中也没有，数据库白白的浪费性能 以上就是 redis 的缓存穿透问题，布隆过滤器就
【Redis】布隆过滤器
人类所有真实的快乐，一定是恒久的努力
03-05 3229
布隆过滤器的简介、Redis的布隆过滤器的实现
Redis布隆过滤器安装
悠悠的博客
05-19 777
RedisBloom 下载地址：https://github.com/RedisBloom/RedisBloom 解压文件：unzip RedisBloom-master.zip 进入目录：cd RedisBloom-master 执行命令：make 目录下生成文件：redisbloom.so 拷贝：cp redisbloom.so /usr/local/redis/bin/redisbloom.so Redis引入该模块 1、在redis.conf配置文件里加入如下引入配置： loa.
Python+Redis实现布隆过滤器
01-21
布隆过滤器是什么 　布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比...
Redis实现布隆过滤器的方法及原理
09-08
在Redis中，布隆过滤器是作为插件提供的，自Redis 4.0版本开始引入。要使用它，首先需要安装相应的插件。Redis中的布隆过滤器支持基本指令`bf.add`来添加元素，`bf.exists`来查询元素是否存在，还有`bf.madd`和`bf....
布隆过滤器(bloom filter)及php和redis实现布隆过滤器的方法
12-20
Redis的布隆过滤器模块提供了方便的操作接口，能够在分布式环境中有效地使用。 总结起来，布隆过滤器是一种高效的空间节省型数据结构，适用于大量数据的快速查找和去重，尤其在内存有限且误判可以接受的场景下。...
redis安装bloom过滤器
qq_40452641的博客
01-18 446
在下图目录位置创建文件夹用来存放bloom和redis的config文件。上传redis.conf文件到conf文件夹下。输入ls查看是否成功。有下图的文件就代表成功了。修改完成后重启redis就可以了。首先卸载原本的redis。拷贝文件到redis目录。完成后输入make命令。下载并解压布隆过滤器。
Redis（十） 布隆过滤器
weixin_43189971的博客
08-16 3111
1
Redis Bloom布隆过滤器的安装及使用
学亮编程手记
02-06 1349
Bloom布隆过滤器用于解决缓存穿透的问题。故意搜索一些你缓存和数据库中没有的一些数据，恶意穿透缓存形成对数据库的攻击。 Bloom过滤器的解决思路是：将数据库中已有的数据先拿到放到一个集合里，用户请求时将请求数据与集合中的数据进行比对，如果没有就不用去数据库查询了，直接将其过滤掉。 ...
Redis系列--布隆过滤器（Bloom Filter）
weixin_42972832的博客
06-16 7224
无论使用谷歌版本的布隆过滤器还是自己编写的，都会存在两个问题，1、因为不同元素经过hash函数计算后可能会出现相同的hash值（hash碰撞），就会出现一个误判率的问题2、因为有hash碰撞，导致同一个位置可能存放不同的数据，这对于删除操作是很不友好的。对于这些情况可查看另一种布隆过滤器，布谷鸟过滤器。
redis使用布隆过滤器
热门推荐
sora33的博客
07-11 1万+
介绍布隆过滤器以及用法，项目中如何使用，如何解决redis穿透
Redis(五)——布隆过滤器
hxyascx的博客
02-28 3546
上一节我们学会了使用 HyperLogLog 数据结构来进行估数，它非常有价值，可以解决很多精确度不高的统计需求。 但是如果我们想知道某一个值是不是已经在 HyperLogLog 结构里面了，它就无能为力了，它只提供了 pfadd 和 pfcount 方法，没有提供 pfcontains 这种方法。 讲个使用场景，比如我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，...
Redis安装布隆过滤器插件
我还可以
12-11 396
锁票失败：
redis布隆过滤器安装
weixin_45631654的博客
11-22 445
1.下载 $ wget https://github.com/RedisLabsModules/rebloom/archive/v1.1.1.tar.gz 2.解压 $ tar zxvf v1.1.1.tar.gz 解压后文件RedisBloom-1.1.1 3.编译 $ cd RedisBloom-1.1.1 $ make $ ls contrib Dockerfile docs LICENSE Makefile mkdocs.yml ramp.yml README.md rebloo
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

赵广陆

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值