Redis 内存持续飙高,小心监控命令monitor 惹的祸

2 篇文章 0 订阅
2 篇文章 0 订阅

                                             记一次因redis发生的一次线上事故

备注:我们使用的Redis是云厂商的Redis主备服务

现象:线上Redis 内存持续升高,导致监控告警

 

处理步骤:

  1.    看到redis内存告警,业务操作Redis不断报错,第一印象就是业务量不断增长,使用redis场景越来越多,购买的redis内存不够了(一开始我们购买的是4G),所以第一操作就是扩大redis内存,当时我们直接扩大到了16G。 扩大到16G后,业务操作redis错误逐渐恢复,但是内存还是持续增高,过了半个小时错误又重新上演
  2.    眼睁睁看着redis内存持续飙高,扩大内存是没用了,团队的人都在发慌了,紧张中又开始了继续的定位,当时怀疑是代码的bug,死循环操作redis, 开始使用Redis的操作监控命令打印redis操作日志,找到了操作最频繁的命令。开始把操作最频繁的命令的服务停掉,但是还是无济于事,应用继续报错。。。。。。。。。
  3.   实在不行开始求救,我们找了云厂商,云厂商技术定位一段时间后发现无异常操作,也没有异常流量。当时很无语
  4.   眼睁睁看着业务全部受影响,当时决定redis缓存全部清空重建,清理了一段时间后发现刚清理又增长上来了,最后只能redis重建,重建后一切正常,前前后后花了三四个小时。
  5.   恢复了不能到此结束啊,还是要继续定位知道坑在哪里啊 ?所以还是继续找,实在看不出代码漏洞,就去度娘了一下,有困难找百度,果然找到了美团发的一篇帖子,同样的现象。  Monitor 命令惹的祸。
  6. 究竟咋回事呢?看看美团发的帖子,真的是大坑啊

  

 

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值