Redis数据“丢失”问题

最新推荐文章于 2024-03-24 10:53:35 发布
最新推荐文章于 2024-03-24 10:53:35 发布
阅读量1.5w 收藏 11
点赞数 2
分类专栏： Redis 数据库

from: https://zhuoroger.github.io/2016/08/14/redis-data-loss/?hmsr=toutiao.io&utm_medium=toutiao.io&utm_source=toutiao.io?ref=myread

Redis数据“丢失”问题

发表于 2016-08-14    |   分类于 Redis    |   17条评论   |     2190

Redis大部分应用场景是纯缓存服务，请求后端有Primary Storage的组件,如MySQL,HBase;请求Redis的键未命中，会从primary Storage中获取数据返回，同时更新Redis缓存。
如果少量数据丢失，相当于请求”缓冲未命中“； 一般对业务的影响是无感知的。
但现在Redis用作存储的业务场景变多，数据丢失对业务是致命的影响。
本文简单讨论Redis常见数据”丢失“现象，以及怎么规避；会列举几个生产中有意思的情节。

记1次Redis”数据丢失“的故障排查

Redis数据被丢失问题，发生次数也很多； 如何快速定位问题和避免呢。
先分享一个小故事（大家都喜欢带情节的片，不对是技术文章）

情节：我的Redis掉了90000多个Keys, 是不是DBA有删除操作？

(时间：12-04日；故事人物：RD(研发工程师)和DBA; 故事：Redis一夜之间不见90000个key）

RD:我们Redis集群中，以“t_list”前缀的90000多key今早发现都掉了，其他key都在，是不是DBA有清理操作啊？
DBA：没有维护性操作(一脸懵B和无辜),先止损，把Key从Primary store中导入Redis；我先分析一下原因，有结果了通知你；定位问题前，你也关注一下，避免二次发生。
RD：“已从MySQL把key导入到Redis. 好的，等你消息。”
然后RD就下楼了，DBA扣上他的25元的boss耳机，开始自言自语Troubleshooting.
“这部分key未设置TTL, 查看监控的 expired_keys基本都是0”
“是否达到了maxmeory，key被强制驱逐淘汰了？ 查看监控 used_memory_pct未到100%，查看 evicted_keys一直为0，最近24小时无key被淘汰”
“只是部分key丢失，而且都是同一个key前缀，说明这个凶手很了解业务；查看监控的实例总key数， keys指标，发现果断keys果断下降，但未变为0，排除Flushall/flushdb和Redis, 定位是程序或人为操作”
“如果程序主动删除key, 就只能是DEL操作，查看监控comdstat_del指标，表示每秒执行的Del次数，果然平时基本为0，昨晚22:01开始有每秒几十个的del”
“再查看slowlog, 22:01时，执行 ‘ KEYS tlist*’ 的命令，获取这类key，进行批量清理”
这时问题定位了, 一首歌多的时间。 然后DBA通知RD排查的结论，让其他排查程序或人为操作；

分析证据简述如下：
从03日的Redis key监控可见，22:00到22：40这个数据key个数下降30000(1个分片，此集群共3个分片)
redis_keys
03日22:00~22:40分之间，Redis的DEL操作大约12个，持续40min; 删除126040约29000个key.（3个分片，共删除约90000个key)
redis_del
查看slowlog监控，2015-12-03 22:01:01 时间点，执行KEYS “tlist*” 获取所有key的前缀， 目的应该是执行后面的DEL操作
redis_keys

说明：精细化的监控告警很重要。

数据丢失的影响

  • Redis存储的应用场景，数据丢失是不能接受的;
    因为Redis的持久化特性，数据还原很难保证一致性，因rdb全备和aof重写备份，RPO不能像MySQL这样保证恢复到故障操作的前一个事务。
  • 缓存的应用场景，如果大量缓存数据丢失，往往导致后端存储组件”打死“，应用程序雪崩的情况

常见Redis数据丢失的情况

  • 程序bug或人为误操作
  • 因客户端缓冲区内存使用过大，导致大量键被LRU淘汰
  • 主库故障后自动重启，可能导致数据丢失
  • 网络分区的问题，可能导致短时间的写入数据丢失
  • 主从复制数据不一致，发生故障切换后，出现数据丢失
  • 大量过期键，同时被淘汰清理

程序bug或人为误操作

如前文情节1，程序bug误删除数据； DBA/RD误操作执行flushall/flushdb这类命令。
这类问题的预防和监控
1 重命名危险命令：keys(程度大批量误删除，很多通过keys获取键后再删除)，flushall，flushdb
2 细化几个重要的监控项：

  • 实例当前的键个数(dbsize/info), 当大量键丢失时，可通过此项历史监控图，定位发生的时间范围
  • 各类删除命令的执行数监控：cmdtats_flushall, cmdstats_flushdb,cmdstat_del
    对应时间范围，确认具体是什么操作

因客户端缓冲区内存使用过大，导致大量键被LRU淘汰

因客户端缓冲区的内存大小很难限制,它们消耗的内存数会计算在used_memory内；如果使用不当，
导致缓冲区内存使用过大，达到maxmemory限制；（缓存场景）会导致大量的键被淘汰，最坏会把所有键清理，缓冲无键可淘汰，写入失败。相当于整个缓冲失效，对业务影响较大。

关于Redis客户端缓冲区问题，详细分析见之前文章Redis Clients Two Buffers

这类问题的预防和监控：
1 业务容量规划时把缓冲正常消耗计算在内，合理高大maxmemory的限制；
每个实例最好可预留几百M(大小根据客户端连接数和key的使用有关，根据大小集群合理调整)
2 对输出缓冲区设置合理limit；如normal设置10MB, SLAVE设置1GB等。 如果复制因slave线程输出缓冲区反复同步，需临时调大slave client-output-buffer，要同时调大maxmemory限制。

说明：关于Redis复制中断和无限同步，详细分析请见Redis复制中断和无限同步问题

3 主要监控

  • 监控内存使用大小 used_memory
  • 监控两个buffer的使用量client_longest_output_list和client_biggest_input_buf
  • 监控键的LRU驱逐数量：evicted_keys

主库故障后自动重启，可能导致数据全部丢失

这种故障发生，极有可能数据全部丢失。
问题发生的现象：时间点T1,主库故障关闭了，因设置有自动重启的守护程序，时间点T2主库被重新拉起，因(T2-T1)时间间隔过小，未达到Redis集群或哨兵的主从切换判断时长；这样从库发现主库runid变了或断开过，会全量同步主库rdb清理，并清理自己的数据。
而为保障性能,Redis主库往往不做数据持久化设置，那么时间点T2启动的主库，很有可能是个空实例（或很久前的rdb文件）。

这种问题发生时间间隔，一般小于1分钟，可能监控告警无法感知到。
这类总是的预防和监控：
1 强烈反对Redis粗暴地设置自动重启
2 这种监控键个数的变化，缓存命中率，同时ELK类型准实时监控redis日志变化并告警

建议：数据库这类重“状态性”服务，不建议程序暴力自动重启

网络分区的问题，可能导致短时间的写入数据丢失

这种问题出现丢失数据都很少，网络分区时，Redis集群或哨兵在判断故障切换的时间窗口，这段时间写入到原主库的数据，5秒~15秒的写入量。
详细分析参考：
Reply to Aphyr attack to Sentinel
redis-sentinel-at-flickr

图片(引至参考2): Redis哨兵结构的网络分区导致的“split-brain”场景
redis_keys

主从复制数据不一致，发生故障切换后，出现数据丢失

主从数据出现不一致，发生故障切换，从库提升为主后，导致数据丢失的情况。
关于Redis复制数据不一致，请参考Redis复制主从数据不-致

大量过期键，同时被淘汰清理

这类情况不是真正的“数据丢失”，只是定期主动清理Redis堆积的过期键，会导致Redis的键个数(dbsize)出现陡降(最大能达20%）。业务方常误以为有数据丢失。

这时可通过监控过期键淘汰的数量：expireed_keys的增长量，与dbsize键总数减少数据量是否相等。

说明：关于过期键，大量堆积成为“死键”问题，详细分析参考Redis的“死键”问题

欢迎大家留言补充，遇到的数据丢失场景。

#Redis
 Redis复制主从数据不-致
 
细说Redis监控和告警(待完善) 
凌风探梅
关注
  • 2
    点赞
  • 踩
  • 11
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
解决docker重启redis,mysql数据丢失的问题
01-08
docker run -p 6379:6379 -d -v /windows盘符/指定的文件夹路径:/data redis:5.0 redis-server –appendonly yes 多看官方文档，里面有详细的说明 补充知识：docker 挂载进容器的文件修改后没有改变需要重启 今天...
redis python 出错重连_Redis 消息队列 断线重连编码注意事项subscribe
weixin_39546092的博客
12-09 239
应用在Redis重启、网络闪断并恢复正常后，应用必须能够自恢复，下面以Java语言的jedis客户端为例说明：1、作为发布者Jedis对象不能作为单例，网络闪断后该Jedis对象无法自恢复。应该每次发布消息时，从JedisPool中取Jedis对象，再调用set方法。2、作为订阅者当网络闪断后psubscribe()方法不再阻塞并抛出异常，所以可以使用while循环，在循环内部处理异常，代码如下：...
python编程语言和Redis数据库常见问题
sanye_one的博客
07-05 79
在python中，匿名函数是没有名称定义的函数。它是一种简单逻辑的函数的简写形式。匿名函数也是一个函数对象，也可以赋值给一个变量，再利用变量来调用。举例：# 匿名函数需要调用才会执行a = lambda x : print(123) # 冒号：后面表示返回的结果a(456) # 调用匿名函数a，传入一个参数，才会调用print(123)print(type(a)) # a 是一个函数print(a) # a 是一个lambda函数print(a(456)) # 匿名函数的返回值为 None。
【吊打面试官系列】Redis篇 -Redis 集群会有写操作丢失吗？为什么？
最新发布
java1234的博客
03-24 341
Redis 集群会有写操作丢失吗？为什么？
python redis 消息队列 回调_python中的Redis键空间通知（过期回调）
weixin_33291014的博客
02-09 730
介绍Redis是一个内存数据结构存储库，用于缓存，高速数据摄取，处理消息队列，分布式锁定等等。使用Redis优于其他内存存储的优点是Redis提供持久性和数据结构，如列表，集合，有序集和散列。在本文中，我想简要介绍一下Redis键空间通知。我将解释键空间通知是什么，并演示如何配置Redis以接收它们。然后我将向您展示如何在python中订阅Redis通知。启用键空间通知默认情况下，禁用键空间事件通...
Redis数据丢失问题
xzh_blog
07-22 5013
DBA/RD误操作执行flushall/flushdb这类命令。 过期键被删除。 淘汰策略删除数据。 因客户端缓冲区内存使用过大，导致大量键被LRU淘汰。 主库故障后自动重启，可能导致数据丢失。 网络分区的问题，可能导致短时间的写入数据丢失。 异步复制导致的数据丢失。 脑裂导致的数据丢失。...
笔记本如何加装内存条
xiaoliuxxs
10-14 1795
启动集群，再也不怕电脑会卡啦
redis2json:以JSON格式导出Redis数据
05-20
用途您可以通过gzip通过管道传输输出并将其发送到文件，以进行快速的非redis数据备份或导出/迁移到另一个系统。 例如： ./redis_to_json.py | gzip > redis_backup.json.gz这对于您正在使用但又不想丢失数据的应用...
浅谈redis内存数据的持久化方式
01-21
一、概述 Redis的强大性能很大程度上都是因为所有数据都是存储...二、Redis数据持久化 Redis支持两种数据持久化方式：RDB方式和AOF方式。前者会根据配置的规则定时将内存中的数据持久化到硬盘上，后者则是在每次执行写
redis主存复制数据同步过程日志
12-02
通过redis主存复制（一主两从） 数据同步过程日志，分析Redis主从复制的工作原理，Redis允许同时开启AOF和RDB，既保证了...此时重新启动Redis后Redis会使用AOF文件来恢复数据，因为AOF方式的持久化可能丢失的数据更少。
Redis
01-07
Redis主要用于缓存，自定义map、guava的缓存也可以用于简单缓存。...同步时会丢失数据、数据大时影响对外服务 安全、易读；文件体积大、性能损耗大、数据大时恢复慢 策略 如：每5s操作2次。每5s检测
记一次开发环境redis出现key丢失排查
一千个哈利波特
01-22 5118
背景: 开发环境大家共用redis集群, 出现设置的redis key随机丢失   1. 检查key是否设置了过期时间 执行ttl key 发现值是-1，并没有设定过期时间   2. 检查是否有人删除key,或者flushdb,flushall 执行info commandstats cmdstat_XXX: calls=XXX,usec=XXX,usec_per_call=XX...
记一次Redis KEY莫名丢失的问题排查
BUG指挥课堂
08-16 1750
3)当 Redis 释放内存时，分配器可能会，也可能不会，将内存返还给操作系统。如果 Redis 释放了内存，却没有将内存返还给操作系统，那么 used_memory 的值可能和操作系统显示的 Redis 内存占用并不一致。2）当 used > rss 时，表示 Redis 的部分内存被操作系统换出到交换空间了，在这种情况下，操作可能会产生明显的延迟。1）当 rss > used ，且两者的值相差较大时，表示存在（内部或外部的）内存碎片。在处理问题的过程中，发现info这个命令还是挺好用的，...
解决Redis持久化数据丢失
lhc66666的博客
04-12 4943
解决Redis持久化数据丢失
redis详解
苍了个天的博客
11-11 199
Flushdb 清除所有key set无序集合 无序性、唯一性 Sadd key 添加元素 sadd key a b c 唯一性不能重复 Srem key a 删除元素 Smembers key 查看所有元素 Spop key 弹出一个随机元素 弹出的返回值就删除掉 Srandmember key 显示一个随机元素 Scard key 返回集合元素个数 Smove key 移动元素到另一个集合 例子：sadd key a b c sadd key1 d e f smo...
redis执行了flushdb或者flushall之后的“后悔药”操作
热门推荐
拼搏的小船长
08-30 2万+
运维的同学，可能会碰到这样的情况，在redis不小心执行了flushdb或者flushall的操作，此时是不是打算辞职走人了？ 下面来讲一下，redis执行了flushdb或者flishall之后的“后悔药”操作： （1）先看一下我们现在redsi中已经有的数据 （2）此时我们执行了flushall的操作（flushdb的操作也是一样的） （3）我们首先执行关闭的不
Redis（十二）flush误操作、Redis安全、处理bigkey和寻找热点key
weixin_30904593的博客
06-11 805
　　一、flushall/flushdb误操作的处理 　　假设进行flush操作的Redis是一对主从结构的主节点，其中键值对的个数是100万，每秒写入量是1000。 　　1.缓存与存储 　　被误操作flush后，根据当前Redis是缓存还是存储使用策略有所不同： 缓存：对于业务数据的正确性可能造成损失还小一点，因为缓存中的数据可以从数据源重新进行构建，但是缓存雪崩和缓存穿透...
redis误操作flushall或者flushdb
jiangshubian的博客
09-07 2967
redis是基于内容的nosql，在平时使用中，如果不小心执行了FLUSHALL或者FLUSHDB，那么是否意味着会丢失所有数据？其实不一定，如果开启了appendonly数据备份，还是能够找回相关数据的。 命令介绍： FLUSHALL [ASYNC] Available since 1.0.0. Delete all the keys of all the e
Redis-应用问题解决
啦啦啦=_=的博客
04-26 389
缓存穿透 缓存穿透现象: 应用服务器压力变大 redis命中率降低 一直查询数据库 原因: redis查询不到数据库 出现很多非正常url访问 解决方案 （1） 对空值缓存：如果一个查询返回的数据为空（不管是数据是否不存在），我们仍然把这个空结果（null）进行缓存，设置空结果的过期时间会很短，最长不超过五分钟 （2） 设置可访问的名单（白名单）： 使用bitmaps类型定义一个可以访问的名单，名单id作为bitmaps的偏移量，每次访问和bitmap里面的id进行比较，如果访问id
redis数据丢失怎么办
04-05
如果 Redis 数据丢失，可以采取以下措施： 1. 检查 Redis 配置文件是否正确配置了持久化选项，如 RDB 或 AOF，如果没有配置，请...总之，保证 Redis 数据的持久化和备份是非常重要的，可以有效避免数据丢失的问题。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值