当我们在使用 Redis 作为缓存时,一个需要考虑的问题就是缓存穿透,缓存穿透有多种类型,不同的类型也有不同的解决方案,布隆过滤器作为一种解决方案之一。布隆过滤器主要用于判断某个元素是否包含在某个超大的元素集合之中。当元素的集合大到一定程度时,我们将元素一一存储再通过查找判断,是非常消耗存储资源,同时性能也是非常低下的,这种场景正是布隆过滤器的用武之地。
版本说明:本篇基于 Redis-5.0.8 以及 RedisBloom-2.0.0。
1. 准备
Redis-5.0.8 官方地址:Redis-5.0.8
RedisBloom-2.0.0 官方地址:RedisBloom-2.0.0
下载 RedisBloom 源码包之后解压缩,在解压后的根目录执行 make 生成 redisbloom.so。
unzip RedisBloom-2.0.0.zip
配置启动命令别名:
vim ~/.bashrc
添加别名配置:
redis-server="/usr/local/src/redis-5.0.8/src/redis-server /usr/local/src/redis-5.0.8/redis.conf --loadmodule /usr/local/src/RedisBloom-2.0.0/redisbloom.so"
刷新:
source ~/.bashrc
启动带布隆过滤器插件的 Redis:
redis-server
Redis 中的布隆过滤器提供了两个命令 bf.add 和 bf.exists,示例如下:
127.0.0.1:6379> del users
(integer) 1
127.0.0.1:6379> bf.madd users u001 u002 u003 u004
1) (integer) 1
2) (integer) 1
3) (integer) 1
4) (integer) 1
127.0.0.1:6379> bf.madd users u007
1) (integer) 1
127.0.0.1:6379> bf.exists users u009
(integer) 0
127.0.0.1:6379> bf.exists users u007
(integer) 1
此外,布隆过滤器有两个重要参数:误判率和预期容量,可以在初始化时进行指定,初始化之后再指定会报错,示例如下:
127.0.0.1:6379> bf.reserve books 0.01 10000
OK
127.0.0.1:6379> bf.add books java
(integer) 1
127.0.0.1:6379> bf.reserve books 0.01 10000
(error) ERR item exists
2. 测试
这里我们通过 Redission 客户端进行测试,测试内容主要是创建一个布隆过滤器,指定它的允许误判率和预期大小。生成随机字符串集合,将其中的一半放入过滤器中,另一半用来进行误判率测试,示例代码:
public class BloomFilterMain {
static final String host = "127.0.0.1";
static final int port = 6379;
static