Redis缓存穿透及其解决方法（布隆过滤器）

已于 2022-12-24 20:17:06 修改
阅读量145 收藏
点赞数
文章标签： redis 缓存 数据库
于 2022-12-24 20:15:09 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ll3565/article/details/128431022
版权
缓存穿透是指请求的数据既不在Redis缓存中，也不在数据库中，导致每次请求都需要查询数据库，影响系统效率。恶意高并发请求可能导致服务器宕机。布隆过滤器成为解决这一问题的主流方案，通过在业务逻辑层先用布隆过滤器判断数据是否存在，减少不必要的数据库查询，提高系统性能。
摘要由CSDN通过智能技术生成

所谓缓存穿透,就是一个业务请求先查询redis,redis没有这个数据,那么就去查询数据库,但是数据库也没有的情况

 

正常业务下,一个请求查询到数据后,我们可以将这个数据保存在Redis

之后的请求都可以直接从Redis查询,就不需要再连接数据库了

但是一旦发生上面的穿透现象,仍然需要连接数据库,一旦连接数据库,项目的整体效率就会被影响

如果有恶意的请求,高并发的访问数据库中不存在的数据,严重的,当前服务器可能出现宕机的情况

解决方案:业界主流解决方案:布隆过滤器

布隆过滤器的使用步骤

1.针对现有所有数据,生成布隆过滤器,保存在Redis中

2.在业务逻辑层,判断Redis之前先检查这个id是否在布隆过滤器中

3.如果布隆过滤器判断这个id不存在,直接返回

4.如果布隆过滤器判断id存在,在进行后面业务执行

秃林和18号
关注
Redis缓存穿透解决方案—布隆过滤器
不要让任何事情成为你不去学习的理由。
07-31 218
概念 Bloom Filter（以下简称 BF）是一个空间高效率的概率型数据结构，用来确定一个元素是否是集合中一员。 空间高效是指数据存储使用了 bit 的方式，相对来说比较紧凑，空间利用率较高。 概率型是指查询时返回两种结果：“一定不在”和 “可能在”。 原理 本质就是bit 数组，初始化每个 bit 都是 0，添加一个元素时，会使用 n 个 hash 函数计算出 n 个值，每个值都是一个 bit 的位置，最后在 bit 数组中，将对应位的值置为1，这样每个元素都对应 n 个 bit ...
redis缓存穿透 布隆过滤器
program_sheet的博客
09-07 499
布隆过滤器
REDIS13_缓存雪崩、缓存穿透、基于布隆过滤器解决缓存穿透的问题、缓存击穿、基于缓存击穿工作实际案例
所得皆惊喜
10-30 1614
REDIS12_缓存雪崩、缓存穿透、基于布隆过滤器解决缓存穿透的问题、缓存击穿、基于缓存击穿工作实际案例
Redis缓存穿透及解决方法
tao的博客
05-21 136
可以使用的是redisson实现的布隆过滤器。它的底层主要是先去初始化一个比较大数组，里面存放的二进制0或1。在一开始都是0， 当一个key来了之后经过3次hash计算，模于数组长度找到数据的下标然后把数组中原来的0改为1，这样的话，三个数组的位置就能标明一个key的存在。当然是有缺点的，布隆过滤器有可能会产生一定的误判， 我们一-般可以设置这个误判率，大概不会超过5%，其实这个误判是必然存在的，要不就得增加数组的长度，其实已经算是很划分了，5%以内的误判率一般的项目也能接受，不至于高并发下压倒数据库。
Redis缓存穿透问题的解决思路
QQ_1919953834的博客
01-30 143
缓存穿透问题的解决思路
Redis 缓存穿透, 缓存击穿, 缓存雪崩的解决方案与布隆过滤器
彼岸舞的博客
10-03 118
缓存穿透解决方案 设置空值 布隆过滤器 优点 可以将存在的缓存, 位置设置为1, 然后当不存在的参数过来的时候, 会匹配到0上,这样就会直接返回不存在 缺点 存在错误判断, hash冲突 删除缓存时无法删除指定的1的位置, 应为存在多数据,同一hash, 所以无法删除 增加开发成本, 维护成本提高 可以判断一定不存在, 但是不能判断一定存在[存在误判] 使用布隆过...
redis缓存穿透以及解决办法
m0_53396342的博客
04-12 287
软件测试常见问题：缓存穿透以及解决办法
Redis缓存穿透解决方案-布隆过滤器
北辰
06-22 543
我们可以把布隆过滤器理解为一个白名单或者是一个黑名单，因为它的主要作用就是判断一个元素存不存在于这个过滤器里面，就可以变相的理解这个过滤器是一个白名单或者是一个黑名单。我们把数据放到了一个白名单里或者放到一个黑名单里，然后再去判断某个数据是否存在于这个白名单或者黑名单里。第一步：前端发起了一个查询请求，通过参数key去查询第二步：参数key会经过一个布隆过滤器，如果这个key不存在于这个过滤器里面，也就是不存在于这个白名单里面，那么就会被过滤器拦截住，然后直接返回这个空数据给前端；如果存在于过滤器里面就会往
redis缓存穿透穿透解决方案-布隆过滤器.docx
10-26
### Redis 缓存穿透解决方案与布隆过滤器详解 #### 一、背景介绍 在现代互联网应用中，Redis 作为一款高性能的键值存储系统，被广泛用于缓存层，以减轻后端数据库的压力并提高应用程序的整体性能。然而，在实际应用...
redis缓存穿透之终极解决方案——布隆过滤器
qq_40606397的博客
02-25 2827
一.介绍与原理 在我们开发过程中，避免不了经常使用到redis这个缓存中间件，尤其是在大并发访问量的时候，他的存在会让我们在对数据库操作时节省很大的性能。 然而当我们进行redis的使用时，难免不了会发生以下这三种redis搞崩数据库的情况：缓存击穿、缓存穿透、缓存雪崩。而在遇到这几种情况时，我们都要有对应的解决措施去防止他的发生。今天我要记录的就是redis modle中的一种非常实用的解决缓存击穿的利器——布隆过滤器（bloomFilter）。 何为布隆过滤器呢？他的定义的使用定义很简...
Redis布隆过滤器
怕什么真理无穷，进一寸有一寸的欢喜。即使开了一辆老掉牙的破车，只要在前行就好，偶尔吹点小风，这就是幸
04-17 831
参考文章 什么是布隆过滤器？ 布隆过滤器(BloomFilter)是由一个叫“布隆”的小伙子在1970年提出的，它是一个很长的二进制向量，主要用于判断一个元素是否在一个集合中。可以说是一个二进制向量和一系列随机映射函数实现。Redis从4.0才开始支持bloom filter 为什么要使用布隆过滤器？ 缓存穿透问题 用户大量并发请求的数据(key)对应的数据在redis和数据库中都不存在，导致尽管数据不存在但还是每次都会进行查DB。 这个时候就可以有两种解决办法： 从DB中查询出来数据为空，也进行
springBoot redisson使用布隆过滤器
fx9590的博客
11-09 1477
关于布隆过滤器原理这里不做过多解释，如不明白可以先查询资料搞清楚原理与使用场景再来看本篇文章
redis的解决分布式锁的bug 和 redis面试题
qq_53625788的博客
09-05 693
redis的解决分布式锁的bug 和 redis面试题
Redis之缓存预热、缓存雪崩、缓存击穿和缓存穿透以及布隆过滤器
weixin_48922154的博客
06-20 2974
文章目录一、缓存预热二、缓存雪崩三、缓存击穿四、缓存穿透五、布隆过滤器1. 原理实现2. Google工具包Guava实现布隆过滤器3. Redis布隆过滤器解决缓存穿透4. 安装rebloom 一、缓存预热 缓存预热就是系统启动前，提前将相关的缓存数据直接加载到缓存系统。避免在用户请求的时候，先查询数据库，然后再将数据缓存的问题！用户直接查询事先被预热的缓存数据！ 二、缓存雪崩 指的是在短时间内，大量的键过期导致请求直接打到数据库，或者是Redis宕机，导致请求直接打到数据库，而数据库无法处理如此大量的请
redis布隆过滤器的使用
xiaofeixiagg666的博客
06-06 2118
说起redis的布隆过滤器，很多人想到的就是解决redis的缓存穿透的问题，但是想想还会用到哪些应用场景吗？比如：我们看到的头条中新闻的推荐，如果是用户已经看过了这个新闻，不应该再推荐给用户才对？这个怎么实现？如果是单纯的去重，数据观看记录得记录下来，这个存储下来，在高并发的情况下，这个方案肯定不行的。很多人会说，使用缓存啊，那更不可可能，历史的数据都缓存起来，消耗很多物理资源，并且效率越来越差，数据越来越多。这个时候，你就可以考虑布隆过滤器来实现这个功能了。哈希表也能用于判断元素是否在集合中，但是布隆过滤
玩转Redis-Redis中布隆过滤器的使用及原理
zxiaofan.com
09-21 8179
《玩转Redis》系列文章主要讲述Redis的基础及中高级应用。本文是《玩转Redis》系列第【11】篇，本文关键字：玩转Redis、Bloom filter、布隆过滤器、无偏hash函数； - 布隆过滤器的底层原理 - 布隆过滤器的底层结构 - 最佳hash函数数量与错误率的关系 - 所需存储空间与错误率及容量关系 - 布隆过滤器如何扩容 - 布隆过滤器有哪些应用场景 - 布隆过滤器的优缺点 - 延伸拓展
Redis 的布隆过滤器的安装及其使用
qq_40230026的博客
02-22 3873
文章目录1：什么是布隆过滤器1.1：使用场景1.2：布隆过滤器2：布隆过滤器的安装 （不要下载 master 版本）2.1: 找到源码压缩包地址2.2：linux 系统中进行下载2.3：编译2.4：启动 redis 挂载 redisbloom.so2.5：启动 redis 客户端3：布隆过滤器的使用4：布隆过滤器被穿透 1：什么是布隆过滤器 1.1：使用场景 redis 中有这么个场景：缓存中没有，直接去数据库访问，其实数据库中也没有，数据库白白的浪费性能 以上就是 redis 的缓存穿透问题，布隆过滤器就
Redis: 持久化之RDB和AOF
最新发布
Wang的专栏
09-29 966
Redis 有一个高质量的课题：数据安全性与数据可靠性Redis 是一个内存型数据库，数据大部分都是存在内存里面当信息在内存中流通时，Redis 节点突然就故障挂掉当重新启动的时候，内存中的数据肯定是全部丢失了如果在这种情况下，Redis 提供了对应的持久化方案，它有两种持久化方案RDB和AOF可以把内存中的数据保存到磁盘，避免数据的流失关于RDB，我们需要了解到什么是持久化什么是快照RDB的工作原理，包括它的优点和缺点关于AOF，需要知道为什么需要有AOF。
Redis-持久化
qq_74812898的博客
09-28 914
redis持久化
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值