Redis超时时的惊群现象

最新推荐文章于 2024-07-24 14:07:28 发布
最新推荐文章于 2024-07-24 14:07:28 发布
阅读量2.2k 收藏 4
点赞数
分类专栏： Redis【python】
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dongyouyuan/article/details/79087135
版权
当Redis缓存数据失效时，高并发可能导致多个线程同时从数据库获取数据，加重数据库负担。解决思路是在缓存value中设置人为失效时间戳和lock锁，通过 incr 函数确保只有一个线程获取新数据并更新缓存，其他线程继续读取旧值，避免惊群现象。
摘要由CSDN通过智能技术生成

背景：

Redis的缓存数据库是为快速响应客户端减轻数据库压力的有效手段之一，其中有一种功能是失效缓存，其优点是可以不定期的释放使用频率低的业务空间而增加有限的内存，但对于同步数据库和缓存之间的数据来说需要面临一个问题就是：在并发量比较大的情况下当一个缓存数据失效之后会导致同时有多个并发线程去向后端数据库发起请求去获取同一业务数据(每次缓存失效的时候，我们理想的话，是有1个线程去数据库取数据，然后把这1份数据写入redis中就可以，但是在高并发的环境下，可能会有100个线程去数据库获取数据，然后也会把这100份数据写到redis中，导致数据库压力大，有大量的缓存失效。)，这样如果在一段时间内同时生成了大量的缓存，然后在另外一段时间内又有大量的缓存失效，这样就会导致后端数据库的压力陡增，这种现象就可以称为“缓存过期产生的惊群现象”！


处理思路：

最低0.47元/天 解锁文章
DHogan
关注
专栏目录
你遇到 Redis 线上连接超时一般如何处理？
bishe_teacher的博客
05-26 3116
你遇到 Redis 线上连接超时一般如何处理？ 一封报警邮件，大量服务节点 redis 响应超时。 又来，好烦。 redis 响应变慢，查看日志，发现大量 TimeoutException。 大量TimeoutException，说明当前redis服务节点上已经堆积了大量的连接查询，超出redis服务能力，再次尝试连接的客户端，redis 服务节点直接拒绝，抛出错误。 那到底是什么导致了这种情况的发生呢？ 总结起来，我们可以从以下几方面进行关注： 一、redis 服务节点受到外部关联影响 redis服务所在
redis 惊群的处理
wsluozefeng的博客
07-15 648
 缓存惊群现象，在各种缓存中都会存在这种现象，这里以Redis为例，提供一种解决思路，留作参考~   首先，所谓的缓存过期引起的“惊群”现象是指，在大并发情况下，我们通常会用缓存来给数据库分压，但是会有这么一种情况发生，那就是当一个缓存数据失效之后会导致同时有多个并发线程去向后端数据库发起请求去获取同一个数据，这样如果在一段时间内同时生成了大量的缓存，然后在另外一段时间内又有大量的缓存失效...
Redis之利用锁机制来防止缓存过期产生的惊群现象
weixin_34417635的博客
12-25 167
2019独角兽企业重金招聘Python工程师标准>>> ...
【算法】布隆过滤器
最新发布
wnm23的专栏
07-24 1406
布隆过滤器是一种用来快速判断一个元素是否属于一个集合的数据结构，它通过牺牲一定的准确性来换取空间和时间的效率。
浅析惊群效应
ZWE7616175的博客
04-13 535
什么是“惊群效应”？ 举个例子，当你往一群鸽子中间扔一块食物，所有的鸽子都被惊动来抢夺这块食物，但是最终只能有一只鸽子可以抢到食物，没有抢到食物的鸽子只能回去继续睡觉，等待下一块食物的到来。这里我们可以将鸽子看做是进程（线程），食物就是等待处理的事件。 网络编程的时候经常会用到多进程或多线程模型，就是父进程创建socket，bind、listen后，通过fork创建多个子进程，每个子进程继承了...
redis 下载启动，设置、查询超时时间
weixin_34050389的博客
12-29 117
1、定义 　　redis是一个key-value存储系统。和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型）。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。在此基础上，redis支持各种...
redis 的惊群处理和分布式锁的应用例子
yingwuluohan的专栏
01-24 3290
在并发量比较高的情况下redis有很多应用场景，提升查询效率，缓解底层DBio ，下面列举两个平时开发中应用过的两个例子，欢迎各位一起讨论改进。  1 . redis 惊群处理 1.1 方案的由来 Redis的缓存数据库是为快速响应客户端减轻数据库压力的有效手段之一，其中有一种功能是失效缓存，其优点是可以不定期的释放使用频率低的业务空间而增加有限的内存，但对于同步数据库和缓存之间的数
Redis+ZooKeeper—分布式锁、RedLock算法防止redis锁失效
m0_38057941的博客
04-18 544
1.什么是分布式锁？ 1.分布式锁应该具备哪些条件？ 1.在分布式系统环境下，一个方法在同一时间只能被一个机器的一个线程执行； 2.高可用的获取锁与释放锁； 3.高性能的获取锁与释放锁； 4.具备可重入特性（可理解为重新进入，由多于一个任务并发使用，而不必担心数据错误）； 5.具备锁失效机制，防止死锁； 6.具备非阻塞锁特性，即没有获取到锁将直接返回获取锁失败。 2.分布式锁的实现 Redis：利用setnx命令，此命令同样是原子性操作，只有在key不存在时，才能set成功。 3.通过 Redis 分布
java后端研发经典面试题总结三
Netty711的博客
08-25 157
JDK1.5中引入了强大的concurrent包，其中最常用的莫过了线程池的实现。ThreadPoolExecutor（线程池执行器），它给我们带来了极大的方便，但同时，对于该线程池不恰当的设置也可能使其效率并不能达到预期的效果，甚至仅相当于或低于单线程的效率。ThreadPoolExecutor类可设置的参数主要有：（1）corePoolSize 基本大小核心线程数，核心线程会一直存活，即使没有任务需要处理。当线程数小于核心线程数时，即使现有的线程空闲，线程池也会优先创建新线程来处理任务，而不是直接交给
分布式锁的几种实现方式
lihongtai的专栏
09-15 607
github源码下载 一.分布式锁的几种实现方式和对比 实现思路 优点 缺点 利用MySQL数据库实现 利用数据库自身提供的锁 要求数据库支持行级锁 实现简单，稳定可靠 性能差，挖坟适应高并发场景 容易出现死锁的的情况 无法优雅的实现阻塞式锁 利用缓存(redis)的实现方案 ...
惊群现象
nanjunxiao的专栏
06-20 6798
今天再看nginx架构发现了它也存在惊群现象，之前师兄的socks5代理服务器同样存在着惊群现象。 惊群（thundering herd）是指，只有一个子进程能获得连接，但所有N个子进程却都被唤醒了，这种情况将使性能受损。 nginx架构如上图所示，每个worker都是从master fork过来，在master里先建立好需listen的socket之后，然后fork出多个wo
Redis查询，设置超时时间
m0_67401417的博客
08-24 5109
和Memcached类似，它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash(哈希类型)。redis2.1.3之前的老版本里，如果对volatile keys 做相关写入操作(LPUSH,LSET)，和其他一些触发修改value的操作时，redis会删除该key。redis2.1.3和之后的版本里，可以多次对key使用expire命令，更新key的expire time。意思就是不稳定的key。
redis超时
shengshiqing的专栏
05-28 590
1.过期数据处理 redis作为一个高效缓存数据库，所有的数据是放在内存中的。内存总会满的，随着加到内存中的数据越来越多，数据库性能也会随之下降。所以对于过期的数据进行清理就显得相对重要了。redis为此提供了一个非常实用的生存时间功能 2.生存时间相关命令 set命令可以直接带一个生存时间例如： set a 1 ex 10 a的生存时间为10s，10s后自动删除。 或者先设值，set
redis配置超时时间
weixin_44240141的博客
07-06 3576
redis配置超时时间cd /usr/local/redis/etc/ vim redis.conf 找到timeout 0 改为 timeout 30
惊群效应
wWX336815的博客
05-07 269
服务器进程在程序启动阶段派生N个子进程，它们各自调用accept并因而均被内核投入睡眠。当第一个客户连接到达时，所有N个子进程均被唤醒，这是因为所以N个子进程所用的监听描述符指向同一个socket结构,致使它们在同一个等待通道(wait channel)即这个socket结构的so_timeo成员上进入睡眠。尽管所有Ｎ个子进程均被唤醒，其中只有最先运行的子进程获得那个客户连接,其余Ｎ-1个子进程继...
什么是惊群效应
sinat_14913533的博客
10-22 2952
这个话题来自一个面试，当问到Socket编程中的accept()是否有惊群问题，引深又文档epoll多路复用中epoll_wait()是否有惊群问题。因为没有准备背过八股文，突然问到这个问题，还是稍微有点措手不及，当然就没有背过的那么快速干脆了，而对方在强调结果，也没给我思考分析的时间，我还在仔细回想这个里哪里存在惊群问题的时候，对方已经打断我说好了。所以这里就记录分析一下，到底什么是惊群效应，以及在并发编程中的应对方式。
redis超时解决方案
weixin_44472810的博客
11-10 1367
1.通过实现一个定时任务，来定时访问远程redis服务； 2.通过设置一定的重试次数，来访问远程redis服务； private final int retryCount=3;//重试次数 for (int retry=0;retry<retryCount;retry++) { try { String obj = (String)redisTemplate.opsForValue().get(key); if (timeout>0) redisTe
记一次redis超时
南风知我意
06-27 582
Spark Streaming任务消费kafka，把offsets存到redis redis连接超时
springboot redis超时时间
09-17
在Spring Boot中使用Redis时，可以使用以下两种方法设置Redis的超时时间： 1. 在RedisTemplate中设置超时时间： ```java @Bean public RedisTemplate, Object> redisTemplate(RedisConnectionFactory factory) {...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值