一:概念
缓存穿透:查询一条不存在的数据,缓存中没有,则每次请求都打到数据库中,导致数据库瞬时请求压力过大,多见于爬虫恶性攻击
布隆过滤器:布隆过滤器(Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率和删除困难。
原理:使用二进制数组,对要存入的key进行多次hash,分配到数组的不同位置,数组的值从0改成1,查询的时候也进行多次hash,命中到数组的位置的值都是1则key可能存在,如果有一个不是1则key一定不存在
布隆过滤器存在误判的情况,因为之前存入的key的hash值可能跟这次的一样,误判率一般设置为0.01,误判率越低,则执行的hash函数越多,执行效率越低
二:使用
1.引入redisson客户端依赖,配置文件中添加redis地址
<dependency>
<groupId>org.redisson</groupId>
<artifactId>redisson-spring-boot-starter</artifactId>
<version>3.17.3</version>
</dependency>
redisson:
address: redis://ip:port
password: password
2.配置redisson客户端
/**
* redisson客户端使用Bloom过滤器拦截无效请求,解决缓存穿透
* 项目初始化的时候初始化布隆过滤器(例如把商品编号都放进去),用户发过来的请求(带商品编号)先经过布隆过滤器过滤,过滤掉的返回null
*
*/
@Configuration
public class RedissinConfig {
@Value("${redisson.address}")
private String addressUrl;
@Value("${redisson.password}")
private String password;
@Bean
public RedissonClient redissonClient() {
Config config = new Config();
config.useSingleServer()
.setAddress(addressUrl)
.setRetryInterval(5000)
.setTimeout(10000)
.setPassword(password)
.setConnectTimeout(10000);
return Redisson.create(config);
}
@Bean
public RBloomFilter<String> bloomFilter(RedissonClient redissonClient) {
RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter("bloom");
bloomFilter.tryInit(1000000L, 0.01);
return bloomFilter;
}
}
3.项目启动后在监听器中初始化布隆过滤器
/**
* @author shentong
* @since 2022/3/8 9:34 PM 监听器,在项目启动的时候执行一些初始化操作
*/
@Slf4j
@Component
public class StartupListener implements ApplicationListener<ContextRefreshedEvent> {
@Autowired
private RBloomFilter bloomFilter;
@Override
public void onApplicationEvent(ContextRefreshedEvent contextRefreshedEvent) {
try {
log.info("项目启动了!!!!");
bloomFilter.add("9");
bloomFilter.add("6");
bloomFilter.add("8");
}
catch (UnknownHostException e) {
log.error(e.toString());
}
}
}
bloom过滤器初始化之后redis数据库中会产生一个hash值,和一个二进制数组
hash值
二进制数组
测试
/**
* 布隆过滤器在监听器中已经初始化过,所以直接查询,7在bollom中不存在则直接过滤掉
*/
@Test
public void testBloom2() {
if (!bloomFilter.contains("7")) {
System.out.println("不存在key");
return;
}
Object blooom = redisCache.getCacheObject("7");
if (blooom != null) {
System.out.println("从缓存中查到了数据");
}
else {
System.out.println("从数据库中查到了数据");
String bloom = "布隆过滤器";
redisCache.setCacheObject("7", bloom);
}
}
测试打印出 不存在key
如何redis中删除了key,或者添加了key,可以用定时器起一个线程查询redis中所有的key重新放到布隆过滤器中