布隆过滤器--Redis缓存穿透解决方案

一、定义

• 将所有可能存在的数据哈希到一个足够大的 bitmap 中，一个一定不存在的数据会被这个 bitmap 拦截，从而避免了对底层存储系统的查询压力
• 对于恶意攻击，向服务器请求大量不存在的数据造成的缓存穿透，还可以用布隆过滤器先做一次过滤，对于不存在的数据布隆过滤器一般都能够过滤掉，不让请求再往后端发送。当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在

二、数据结构

• 布隆过滤器就是一个大型的位数组和几个不一样的无偏 hash 函数。无偏就是能够把元素的 hash 值算得比较均匀

• 向布隆过滤器中添加 key 时，会使用多个 hash 函数对 key 进行 hash，算得一个整数索引值然后对位数组长度进行取模运算得到一个位置，每个 hash 函数都会算得一个不同的位置。再把位数组的这几个位置都置为 1 就完成了 add 操作
  

• 向布隆过滤器询问 key 是否存在时，跟 add 一样，也会把 hash 的几个位置都算出来，看看位数组中这几个位置是否都为 1，只要有一个位为 0，那么说明布隆过滤器中这个key 不存在。如果都是 1，这并不能说明这个key 就一定存在，只是极有可能存在，因为这些位被置为 1 可能是因为其它的 key 存在所致。如果这个位数组比较稀疏，这个概率就会很大，如果这个位数组比较拥挤，这个概率就会降低

• 适用于数据命中不高、 数据相对固定、 实时性低（通常是数据集较大） 的应用场景， 代码维护较为复杂， 但是缓存空间占用很少

三、代码实现

使用redisson实现布隆过滤器，引入maven依赖

<dependency>
<groupId>org.redisson</groupId>
<artifactId>redisson</artifactId>
<version>3.6.5</version>
</dependency>

代码实例

 public class RedissonBloomFilter {

//main方法
 public static void main(String[] args) {
 Config config = new Config();
 config.useSingleServer().setAddress("redis://localhost:6379");
 //构造Redisson
 RedissonClient redisson = Redisson.create(config);

 RBloomFilter<String> bloomFilter = redisson.getBloomFilter("name");
 //初始化布隆过滤器：预计元素为100000000L,误差率为3%,根据这两个参数会计算出底层的bit数组大小
 bloomFilter.tryInit(100000000L,0.03);
 //将crazyDiu插入到布隆过滤器中
 bloomFilter.add("crazyDiu");

 //判断下面号码是否在布隆过滤器中
 System.out.println(bloomFilter.contains("java"));//false
 System.out.println(bloomFilter.contains("diudiu"));//false
 System.out.println(bloomFilter.contains("ergou"));//true
 }
 }

把所有数据提前放入布隆过滤器，增加数据时也要往布隆过滤器里放

//初始化布隆过滤器
 RBloomFilter<String> bloomFilter = redisson.getBloomFilter("name");
 //初始化布隆过滤器：预计元素为100000000L,误差率为3%
 bloomFilter.tryInit(100000000L,0.03);

 //把所有数据存入布隆过滤器
 void init(){
 for (String key: keys) {
 bloomFilter.put(key);
 }
 }

 String get(String key) {
 // 从布隆过滤器这一级缓存判断下key是否存在
 Boolean exist = bloomFilter.contains(key);
 if(!exist){
 return "";
 }
 // 从缓存中获取数据
 String cacheValue = cache.get(key);
 // 缓存为空
 if (StringUtils.isBlank(cacheValue)) {
 // 从存储中获取
 String storageValue = storage.get(key);
 //放进缓存
 cache.set(key, storageValue);
 // 如果存储数据为空， 需要设置一个过期时间(300秒)
 if (storageValue == null) {
 cache.expire(key, 60 * 5);
 }
 return storageValue;
 } else {
 // 缓存非空
 return cacheValue;
 }
 }