【Redis系列8】如何利用一个支持元素删除的布隆过滤器来解决缓存穿透问题

文章讨论了缓存击穿和缓存穿透的问题,介绍了通过加锁、校验和布隆过滤器等方法来缓解。特别提到了布隆过滤器的空间效率和误判率,以及在实际项目中的应用和Guava库的使用示例。
摘要由CSDN通过智能技术生成

缓存击穿和缓存雪崩很类似,区别就是缓存击穿一般指的是单个缓存失效,而同一时间又有很大的并发请求需要访问这个key,从而造成了数据库的压力。

解决方案


解决缓存击穿的方法和解决缓存雪崩的方法很类似:

  • 1、加锁,保证单线程访问缓存。这样第一个请求到达数据库后就会重新写入缓存,后续的请求就可以直接读取缓存。

  • 2、内存允许的情况下,可以将缓存设置为永不失效。

缓存穿透

=================================================================

缓存穿透和上面两种现象的本质区别就是这时候访问的数据其在数据库中也不存在,那么既然数据库不存在,所以缓存里面肯定也不会存在,这样如果并发过大就会造成数据源源不断的到达数据库,给数据库造成极大压力。

解决方案


对于缓存穿透问题,加锁并不能起到很好地效果,因为本身key就是不存在,所以即使控制了线程的访问数,但是请求还是会源源不断的到达数据库。

解决缓存穿透问题一般可以采用以下方案配合使用:

  • 1、接口层进行校验,发现非法的key直接返回。比如数据库中采用的是自增id,那么如果来了一个非整型的id或者负数id可以直接返回,或者说如果采用的是32位uuid,那么发现id长度不等于32位也可以直接返回。

  • 2、将不存在的数据也进行缓存,可以直接缓存一个空或者其他约定好的无效value。采用这种方案最好将key设置一个短期失效时间,否则大量不存在的key被存储到Redis中,也会占用大量内存。

布隆过滤器(Bloom Filter)

================================================================================

针对上面缓存穿透的解决方案,我们思考一下:假如一个key可以绕过第1种方法的校验,而此时有大量的不存在key被访问(如1亿个或者10亿个),那么这时候全部存储到缓存,会占用非常大的空间,会浪费大量服务器内存,导致内存不足。

那么有没有一种更好的解决方案呢?这就是我们接下来要介绍的布隆过滤器,布隆过滤器就可以最大程度的解决key值过多的这个问题。

什么是布隆过滤器


可能大部分人都知道有这么一个面试问题:如何在10亿的海量的无序的数据中快速判断一个元素是否存在?

要解决这个问题就需要用到布隆过滤器,否则大部分服务器的内存是无法存储这么大的数量级的数据的。

布隆过滤器(Bloom Filter)是由布隆在1970年提出的。它实际上是一个很长的二进制向量(位图)和一系列随机映射函数(哈希函数)。

布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多,缺点是有一定的误识别率而且删除困难。

位图(Bitmap&

  • 3
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
布隆过滤器可以用于解决Redis缓存穿透问题布隆过滤器是一种数据结构,它可以判断一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好,但缺点是有一定的误识别率和删除困难。\[3\] 在解决Redis缓存穿透问题时,可以使用布隆过滤器来过滤掉那些不存在于数据库中的请求,从而减轻数据库的压力。具体实现步骤如下: 1. 引入Redisson依赖,并配置RedissonClient。\[2\] 2. 创建布隆过滤器的封装类,使用RedissonClient初始化布隆过滤器,并设置预计元素数量和误差率。\[2\] 3. 在查询之前,先通过布隆过滤器判断请求的数据是否存在于布隆过滤器中。如果不存在,则直接返回结果,避免查询数据库。\[2\] 4. 如果布隆过滤器判断数据可能存在于布隆过滤器中,再去查询Redis缓存。如果缓存中存在数据,则直接返回结果。如果缓存中不存在数据,则查询数据库,并将查询结果放入缓存中。\[1\] 通过使用布隆过滤器,可以有效地减少对数据库的查询次数,提高系统的性能和响应速度,同时也可以防止缓存穿透问题。 #### 引用[.reference_title] - *1* *2* [一文搞懂布隆过滤器以及如何解决Redis缓存穿透问题](https://blog.csdn.net/qq_43750656/article/details/109014932)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] - *3* *4* *5* [基于布隆过滤器解决Redis缓存穿透问题](https://blog.csdn.net/weixin_39555954/article/details/120280278)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v91^insertT0,239^v3^insert_chatgpt"}} ] [.reference_item] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值