服务器环境:CentOS 7
Redis版本:Redis 6.0.9
布隆过滤器的安装:
- 下载,找一个放软件的目录,执行如下命令。
wget https://codeload.github.com/RedisBloom/RedisBloom/zip/master
- 这样下载回来的文件是zip格式的,解压文件
unzip master
- 打开解压后的文件夹,执行make命令。
cd RedisBloom-master/ make
-
会得到如下一个文件。
- 可以移动这个文件到redis的启动脚本目录,也可以不移动。
mv redisbloom.so /opt/root/redis6/
- 启动redis,注意这个时候要写绝对路径,若要有指定的启动配置,需要把配置写在最后面。
redis-server --loadmodule /opt/root/redis6/redisbloom.so
============================================================================================
布隆过滤器的使用:
为了方便看到作用,同时启动了两个redis,端口6379的是带着布隆过滤器的,端口6380是普通启动的。
如果成功引入布隆过滤器的话,是会有BF命令的。对比图如下,
常用的命令如下:
- BF.ADD:
- BF.EXISTS:
详细用法,截了布隆过滤器文档的图,如下:
===========================================================================================
布隆过滤器的原理:
布隆过滤器是redis的一个模块,主要作用就是防止缓存穿透。比如有一个水果的窗口,用户搜索铅笔橡皮等文具,铅笔橡皮这种数据属于项目数据库中没有的数据,这样的数据,作为缓存的redis也是没有的。这种查询数据库中不存在数据的请求会直接穿透redis到达DB,增加DB的负担,布隆过滤器可以有效的防止这种情况的发生。
有一个卖水果的网站,数据库中有几十万种水果,有一个请求想访问铅笔,布隆过滤器是怎么处理的呢?
首先,准备一个很多位的BitMap,初始值,每一位都是0,如下图一,再准备几个不同的映射函数,拿到数据库中的数据,通过映射函数映射到BitMap上。
比如苹果,经过所有的映射函数,会在BitMap的不同位上标记出1,然后香蕉经过映射函数标记在BitMap的某些位上,如下图2。数据库中所有的数据通过映射函数标记到BitMap上,使得BitMap上一些位被标记为1,一些位被标记为0,此时如果请求铅笔,也让铅笔经过映射函数,在BitMap的一些位上标记出1,发现这些位上,存在未被标记成1的位(0位),如图3,说明铅笔不存在于数据库中。
注:
布隆过滤器不能百分百的阻挡,但会使穿透的概率小于百分之一。有些请求可能会被误标记,如果发现无标记的,可以在查询完数据库之后,在redis中将该值设置为null。