重学SpringBoot3-集成Redis（五）之布隆过滤器

于 2024-10-07 10:23:33 发布
阅读量486 收藏 15
点赞数 11
分类专栏： SpringBoot3 文章标签： redis 数据库 缓存 springboot
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u014390502/article/details/142736485
版权

更多SpringBoot3内容请关注我的专栏：《SpringBoot3》
期待您的点赞👍收藏⭐评论✍

重学SpringBoot3-集成Redis（五）之布隆过滤器

在高并发场景下，缓存是提升系统性能的重要手段。然而，常规缓存机制中，若遇到大量无效请求访问（请求的 key 不存在于缓存或数据库），就会导致 缓存穿透。为了应对这种问题，布隆过滤器 和 缓存空值 是应对缓存穿透的两大主流方案，布隆过滤器适用于大规模、复杂场景，缓存空值适用于小规模场景。布隆过滤器（Bloom Filter） 能够通过哈希算法判断一个 key 是否可能存在，减少无效请求对数据库的压力。

本篇博客将介绍如何使用 Spring Boot 3 和 Redis 实现布隆过滤器，并结合示例代码来详细讲解布隆过滤器的原理和在 Redis 中的实现方式。

1. 什么是布隆过滤器？

基本概念

布隆过滤器是一种空间效率高的 概率性数据结构，用于快速判断某个元素是否在集合中。它有以下特点：

  • 内存占用小：相比传统的集合结构，布隆过滤器的内存使用更少。
  • 可能存在误判：布隆过滤器只能确定某个元素“可能存在”或“绝对不存在”。但存在误判的概率可以通过调整参数降低。
  • 不支持删除：布隆过滤器不支持删除已添加的元素，删除某个元素会导致误判率增加。

图片来源：https://systemdesign.one/bloom-filters-explained/

图片来源：https://systemdesign.one/bloom-filters-explained/

适用场景

布隆过滤器在以下场景中非常适用：

  • 防止缓存穿透：将不存在的 key 存储在布隆过滤器中，避免大量无效请求直接查询数据库。
  • 防止重复数据：在大规模数据处理中，使用布隆过滤器避免重复处理相同的数据。

2. 使用 Redis 实现布隆过滤器

Redis 提供了开箱即用的布隆过滤器功能，通过 Redis 的插件 RedisBloom，安装过程参考：Redis安装RedisBloom，我们可以非常方便地使用布隆过滤器存储和管理 key。

项目依赖

首先，在 Spring Boot 项目中引入相关依赖，可参考之前文章。需要 Redis 的支持，以及 Spring Data Redis 来实现与 Redis 的交互。

注意: Redisson 提供了对布隆过滤器的支持，具体实现会利用它的 API。

<dependency>
    <groupId>org.springframework.boot</groupId>
    <artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<dependency>
    <groupId>org.redisson</groupId>
    <artifactId>redisson-spring-boot-starter</artifactId>
    <version>3.20.0</version>
</dependency>

Redis 配置

在 application.yml 文件中配置 Redis 的连接信息，详细请参考上一章重学SpringBoot3-集成Redis（四）之Redisson，进行 Redisson 配置。

spring:
  redis:
    redisson:
      config: |
        singleServerConfig:
          address: redis://1.94.26.81:6379   # Redis 连接地址，前缀为 redis://
          password: redis123456              # 如果 Redis 需要密码认证，则填写密码
          timeout: 3000                      # 命令执行超时时间（毫秒）

配置类中初始化 Redisson 客户端：

package com.coderjia.boot310redis.config;

import org.redisson.Redisson;
import org.redisson.api.RedissonClient;
import org.redisson.config.Config;
import org.redisson.spring.starter.RedissonProperties;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.context.annotation.Bean;
import org.springframework.context.annotation.Configuration;

/**
 * @author CoderJia
 * @create 2024/10/5 下午 04:53
 * @Description
 **/
@Configuration
public class RedissonConfig {

    @Autowired
    private RedissonProperties redissonProperties;

    @Bean
    public RedissonClient redissonClient() throws Exception{
        Config config = Config.fromYAML(redissonProperties.getConfig());
        Redisson.create(config);
        System.out.println("Redisson 已启动");
        return Redisson.create(config);
    }

}

3. 创建布隆过滤器服务

接下来，我们需要定义一个服务来管理布隆过滤器。利用 Redisson 提供的 API，可以轻松实现布隆过滤器。

import org.redisson.api.RBloomFilter;
import org.redisson.api.RedissonClient;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.stereotype.Service;

@Service
public class BloomFilterService {

    private static final String BLOOM_FILTER_NAME = "bloomFilter";

    @Autowired
    private RedissonClient redissonClient;

    // 初始化布隆过滤器
    public void initBloomFilter(long expectedInsertions, double falseProbability) {
        RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter(BLOOM_FILTER_NAME);
        bloomFilter.tryInit(expectedInsertions, falseProbability);
    }

    // 添加元素到布隆过滤器中
    public void addToBloomFilter(String key) {
        RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter(BLOOM_FILTER_NAME);
        bloomFilter.add(key);
    }

    // 检查元素是否存在于布隆过滤器中
    public boolean mightContain(String key) {
        RBloomFilter<String> bloomFilter = redissonClient.getBloomFilter(BLOOM_FILTER_NAME);
        return bloomFilter.contains(key);
    }
}

代码解释

  1. 初始化布隆过滤器：initBloomFilter 方法可以根据期望插入的数量和误判率初始化布隆过滤器。布隆过滤器的大小和哈希函数数量根据这些参数自动计算。
  2. 添加元素：addToBloomFilter 方法向布隆过滤器中添加新的 key。
  3. 判断元素是否存在：mightContain 方法用来判断某个 key 是否在布隆过滤器中。

4. 布隆过滤器的初始化

通常我们会在应用启动时初始化布隆过滤器，并将数据库中的所有 key 预先加入过滤器。

package com.coderjia.boot310redis.config;

import com.coderjia.boot310redis.bean.Product;
import com.coderjia.boot310redis.dao.ProductMapper;
import com.coderjia.boot310redis.service.BloomFilterService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.boot.CommandLineRunner;
import org.springframework.stereotype.Component;

import java.util.List;

/**
 * @author CoderJia
 * @create 2024/10/6 下午 12:38
 * @Description
 **/
@Slf4j
@Component
public class BloomFilterInitializer implements CommandLineRunner {

    @Autowired
    private BloomFilterService bloomFilterService;

    @Autowired
    private ProductMapper productMapper;

    @Override
    public void run(String... args) throws Exception {

        // 查询所有产品数据
        List<Product> all = productMapper.findAll();

        // 初始化布隆过滤器
        bloomFilterService.initBloomFilter(all.size(), 0.01);

        // 将所有产品的ID加入布隆过滤器
        all.forEach(product -> {
            bloomFilterService.addToBloomFilter(product.getId().toString());
        });

        log.info("初始化布隆过滤器完成，添加产品数：{}", all.size());
    }
}

代码解释

  • 在应用启动时，通过 CommandLineRunner 初始化布隆过滤器，并将数据库中的所有商品 ID 加入过滤器中。

5. 使用布隆过滤器进行缓存穿透防护

接下来，我们通过一个简单的示例，结合 Redis 的缓存功能和布隆过滤器，展示如何防止缓存穿透。

package com.coderjia.boot310redis.service;

import com.coderjia.boot310redis.bean.Product;
import com.coderjia.boot310redis.dao.ProductMapper;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.cache.annotation.Cacheable;
import org.springframework.stereotype.Service;

/**
 * @author CoderJia
 * @create 2024/10/6 下午 12:37
 * @Description
 **/
@Slf4j
@Service
public class ProductService {

    @Autowired
    private BloomFilterService bloomFilterService;

    @Autowired
    private ProductMapper productMapper;

    @Cacheable(value = "product", key = "#p0")
    public Product getProductById(Long id) {
        // 使用布隆过滤器防止缓存穿透
        if (!bloomFilterService.mightContain(id.toString())) {
            throw new IllegalArgumentException("Product not found!");
        }

        log.info("准备查询产品信息，id:{}", id);
        return productMapper.findById(id)
                .orElseThrow(() -> new IllegalArgumentException("Product not found!"));
    }
}

代码解释

  1. 在查询商品前，首先通过布隆过滤器判断 key 是否可能存在。若布隆过滤器判断 key 不存在，则直接抛出异常，避免查询数据库。
  2. 如果布隆过滤器判断 key 可能存在，接着通过缓存获取商品数据。如果缓存未命中，则查询数据库。

productMapper 参考：

package com.coderjia.boot310redis.dao;

import com.coderjia.boot310redis.bean.Product;
import org.apache.ibatis.annotations.Mapper;

import java.util.List;
import java.util.Optional;

/**
 * @author CoderJia
 * @create 2024/3/16 下午 05:22
 * @Description
 **/
@Mapper
public interface ProductMapper {

    Optional<Product> findById(Long id);

    List<Product> findAll();
}

Product 也很简单：

package com.coderjia.boot310redis.bean;

import lombok.Data;

import java.io.Serial;
import java.io.Serializable;

/**
 * @author CoderJia
 * @create 2024/10/6 下午 12:46
 * @Description
 **/
@Data
public class Product implements Serializable {
    @Serial
    private static final long serialVersionUID = 1L;
    private Long id;
    private String name;
}

6. 测试效果

在你的业务逻辑中调用上面创建的 getProductById 方法。

package com.coderjia.boot310redis.demos.web;

import com.coderjia.boot310redis.bean.Product;
import com.coderjia.boot310redis.service.LockService;
import com.coderjia.boot310redis.service.ProductService;
import lombok.extern.slf4j.Slf4j;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestParam;
import org.springframework.web.bind.annotation.RestController;

/**
 * @author CoderJia
 * @create 2024/10/5 下午 05:14
 * @Description
 **/
@Slf4j
@RestController
public class LockController {

    @Autowired
    private ProductService productService;

    @GetMapping("/get-product")
    public Product getProduct(@RequestParam("id") Long id) {
        log.info("准备产品产品信息，id:{}", id);
        try {
            Product product = productService.getProductById(id);
            return product;
        }catch (Exception e) {
            log.error("获取产品信息异常，id:{}", id, e);
            return null;
        }
    }
}

6.1. 启动项目

可以看到布隆过滤器的初始化过程，查询出所有的产品信息并添加到布隆过滤器中。

image-20241006190759822

6.2. 查询存在的商品

调用 curl "http://localhost:8080/get-product?id=1" 接口:

image-20241006192152018

6.3. 查询不存在的商品

调用 curl "http://localhost:8080/get-product?id=101" 接口，产品不存在布隆过滤器器中，直接报错。

image-20241006192227320

7. 总结

通过结合 Spring Boot 3、Redis 和 Redisson，我们可以非常方便地实现布隆过滤器，来防止缓存穿透问题。在高并发场景下，布隆过滤器是一种有效的工具，可以降低数据库的压力，提升系统性能。布隆过滤器并不是万能的，在某些场景下会有少量误判，但结合 Redis 的强大功能，它依然是防止缓存穿透的最佳选择之一。

关键点总结

  • 布隆过滤器通过空间换时间，能够快速判断元素是否存在，减少无效请求。
  • Redisson 提供了开箱即用的布隆过滤器 API，大大简化了开发工作。
  • 在结合缓存时，布隆过滤器可以显著减少数据库查询，提升系统性能。
CoderJia_
关注
专栏目录
springboot_redis
04-03
描述中提到的“spring boot 集成redis”是一个示例项目，提供了如何在Spring Boot应用中整合Redis的具体步骤。通过访问提供的博客链接（http://blog.csdn.net/woniu211111/article/details/54564308），我们可以深入...
19年录制Redis实战教程 高可用秒杀分布式锁布隆过滤器实战 SpringBoot教程整合
06-13
本教程结合SpringBoot，深入探讨了Redis在实际开发中的应用，特别关注了高可用性、秒杀系统、分布式锁和布隆过滤器等关键知识点。 1. **Redis高可用性** - Redis Sentinel：监控、警告和自动故障转移，通过哨兵...
重学SpringBoot3-集成Redis（二）之注解驱动
CoderJia的学习之路
10-05 1117
Spring Boot 提供了对缓存的简便支持，使得开发者能够通过简单的注解实现缓存操作，减少重复代码的编写。本文将详细介绍如何在 Spring Boot 3 中使用 Redis 作为缓存，并通过注解驱动的方式进行缓存操作。
springboot 整合 redis布隆过滤器
wwwzhouzy的专栏
08-21 1533
一、什么是布隆过滤器 布隆过滤器（英语：Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。 Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地表示一个集合，并能判断一个元素是否属于这个集合。 它是一个判断元素是否存在集合的快速的概率算法。Bloom Filter有可能会出现错误判断，但不
高效防护大流量：SpringBoot +Redis/Guava 实现布隆过滤器【实战】
weixin_44991038的博客
07-07 920
springboot + redis/guava 实现布隆过滤器
电商高并发设计之SpringBoot整合Redis实现布隆过滤器
Android_la的博客
08-02 1114
本篇的代码都是参考SpringBoot+Redis布隆过滤器防恶意流量击穿缓存的正确姿势，可以先看看该篇文章。本篇的行文思路分别由以下几个模块构成：布隆过滤器原理、使用场景、基础中间件搭建、如何实现布隆过滤器阅读本篇前，需要知道布隆过滤器的原理、简单的Docker知识，阅读起来能更加高效。效果：上面代码中，可以看见底层使用的是redis的bitmap，120w数据存在Redis仅需8M。查询一次仅需几十毫秒。优点：空间效率高；；查询时间快；支持高并发。缺点：存在一定的误判率；
SpringBoot + Redis实现布隆过滤器
小小陈的博客
02-11 2540
SpringBoot + Redis布隆过滤器
Spring Boot集成Redisson布隆过滤器解决redis缓存穿透问题
dreaming9420的博客
04-14 4433
文章目录1 什么是布隆过滤器2 布隆过滤器的作用3 布隆过滤器的基本原理4 在Spring Boot中集成Redisson实现布隆过滤器4.1 添加maven依赖4.2 配置yml4.3 配置RedissonConfig4.4 工具类BloomFilterUtil4.5 编写service实现层 1 什么是布隆过滤器 介绍布隆过滤器之前，先介绍一下哈希函数，我们在Java中的HashMap，HashSet也接触过hashcode()这个函数。 哈希函数指将哈希表中元素的关键键值通过一定的函数关系映射为元素
SpringBoot+Redis的Bloom过滤器
RHHcainiao的博客
12-22 1280
Bloom过滤器使用
SpringBoot 如何集成 Redis 实现布隆过滤器
water76016的博客
09-27 194
advance（记录每一个学习过程），项目的介绍页面是我所有文章的一个引用目录，大家在引用目录里面即可找到对应文章的一个代码路径。大家觉得有用的话，麻烦点个star👍再走呗！
springboot+redis布隆过滤器数据
xsxy0506的博客
03-02 701
布隆算法是一个以牺牲一定的准确率来换取低内存消耗的过滤算法，可以实现大量数据的过滤、去重等操作。 为了实现分布式过滤器，在这里使用了Redis，利用Redis的BitMap实现布隆过滤器的底层映射。 布隆过滤器的一个关键点就是如何根据预计插入量和可接受的错误率推导出合适的BIt数组长度和Hash函数个数，当然Hash函数的选取也能影响到过滤器的准确率和性能。为此我参考了Google的guava包中有关布隆过滤器的相关实现。 同时我还利用的Spring实现RedisBean和FilterBean的.
（Redis使用系列） Springboot 在redis中使用BloomFilter布隆过滤器机制 六
默默不代表沉默
04-23 8756
前言 该篇为redis使用系列的第六篇，在springboot整合redis基础上使用BloomFilter 布隆过滤器。 至于布隆过滤器的作用和实现的简单原理，该篇不做讲述，还不了解的可以先看我这篇 《JAVA 你应该有所了解的布隆过滤器》https://blog.csdn.net/qq_35387940/article/details/105217347 OK，再啰嗦一下，相信...
Redission分布式锁-本地单机Redis实战-springboot-redis-lock.zip
01-31
3. **SpringBoot集成Redis**：SpringBoot简化了与Redis的集成，通过添加相应依赖并配置Redis连接信息，即可轻松使用RedisTemplate或ReactiveRedisTemplate进行操作。此外，SpringBoot还支持通过配置RedissonClient来...
Redis: 持久化之RDB和AOF
Wang的专栏
09-29 1107
Redis 有一个高质量的课题：数据安全性与数据可靠性Redis 是一个内存型数据库，数据大部分都是存在内存里面当信息在内存中流通时，Redis 节点突然就故障挂掉当重新启动的时候，内存中的数据肯定是全部丢失了如果在这种情况下，Redis 提供了对应的持久化方案，它有两种持久化方案RDB和AOF可以把内存中的数据保存到磁盘，避免数据的流失关于RDB，我们需要了解到什么是持久化什么是快照RDB的工作原理，包括它的优点和缺点关于AOF，需要知道为什么需要有AOF。
Redis-常见数据类型(修改ing)
qq_74812898的博客
09-29 1053
redis常用数据类型
Ubuntu有关redis的命令
最新发布
weixin_53717695的博客
10-06 124
Ubuntu有关redis的命令
如何使用Redisson的布隆过滤器？
付聪
10-02 402
【代码】如何使用Redisson的布隆过滤器？
Redission · 可重入锁（Reentrant Lock）
不惑
09-29 1163
下面的代码是单节点 Redis 的配置。/*** 对 Redisson 的使用都是通过 RedissonClient 对象* @return*/@Bean(destroyMethod="shutdown") // 服务停止后调用 shutdown 方法。// 创建配置// 集群模式。
Redis-持久化机制
qq_39007838的博客
10-01 1068
配置文件redis 6.0.16 及其以下补充一张来自于的图片写回策略，对应图中的 3 也即上面个图的 fsync 策略。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

CoderJia_

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值