redis的AOF持久化方案如何解决备份时数据一致性问题

最新推荐文章于 2023-05-16 13:29:01 发布
最新推荐文章于 2023-05-16 13:29:01 发布
阅读量858 收藏 2
点赞数 2
分类专栏： 算法策略 redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreamvyps/article/details/84207335
版权
Redis的AOF持久化通过记录用户操作保持数据一致性，但会导致日志膨胀。AOF重写策略通过子进程生成新的日志文件，避免阻塞主进程并确保数据一致。在重写过程中，AOF重写缓冲区用于存储新操作，确保新旧AOF文件切换时数据准确无误。
摘要由CSDN通过智能技术生成

AOF持久化

redis支持两种持久化方案，一种是RDB，RDB直接保存的是数据。另一种是AOF方案，保存下来的是用户的操作过程，可以简单理解为把用户对数据库操作的命令保存下来了，通过回放，可以恢复数据的一种持久化方案。

正常AOF逻辑

为了满足效率要求，主进程对用户的每一次请求，会把请求写到AOF的缓冲区，然后再按一定的策略把AOF缓冲区的用户操作刷新的AOF磁盘文件中。

AOF日志膨胀问题

正常来说，如果只是记录用户的操作命令，那么AOF文件将会一直膨胀，而且对于同一个数据来说，会记录非常多的冗余信息。例如一个list，可能增加节点10000次，删除节点9999次，最后剩下一个节点的情况下，那如果正常来说使用AOF，则需要记录19999条数据。这种情况下，有效信息是非常少，绝大部分成了冗余信息。

膨胀问题解决方案

redis采用一种叫AOF重写机制，直接根据数据中存在什么来记录日志。例如当前只有一条数据，AOF不会关注之前使用了多少条命令，直接就保存下这一条数据需要的命令即可。这样即可大量减少冗余信息，达到精简数据的目的

AOF重写方案

假如你作为redis的AOF重写机制的设计者，如何设计重写逻辑。
方案1：正常来说，主进程中直接阻塞，把当前的内存数据保存好，生成新的AOF重写文件，再把AOF文件进行原子替换即可。
存在问题：这个方案可以满足需求，但性能极差

最低0.47元/天 解锁文章
werflychen
关注
专栏目录
redis AOF持久化个人理解
qq_45849148的博客
08-02 323
这篇文章是根据《redis设计与实现》和查阅许多博客总结出来的，帮助个人理解AOF持久化过程。
Redis 持久化机制
happyJared
08-25 152
持久化数据，也就是将内存中的数据写入到硬盘里，大部分原因是为了之后重用数据（比如重启机器、机器故障后恢复数据），或是为了防止系统故障而将数据备份到远程。 Redis 不同于 Memcached 的重要一点就是，Redis 支持持久化，且支持两种不同的持久化操作。 默认的持久化方式叫快照（snapshotting，RDB），另一种方式是只追加文件（append-only file，A...
Redis
weixin_51699336的博客
07-06 345
https://blog.csdn.net/weixin_40205234/article/details/124614720 redis-benchmark：性能检测 redis-check-aof：AOF持久化文件检测及修复工具 redis-check-dump持久化文件检测及修复工具 redis-sentinel：启动哨兵 redis-trib：cluster集群构建工具 4.Redis支持的数据类型 String：可存字符串，整型与浮点型，可自增自减，支持二进制位操作，适用共享session，
Redis 笔记四 AOF重写、触发方式、混合持久化
文报的博客
07-31 1680
AOF重写Redis可以在 AOF体积变得过大时，自动地在后台（Fork子进程）对 AOF进行重写。重写后的新 AOF文件包含了恢复当前数据集所需的最小命令集合。 所谓的“重写”其实是一个有歧义的词语， 实际上， AOF 重写并不需要对原有的 AOF 文件进行任何写入和读取， 它针对的是数据库中键的当前值。 Redis 不希望 AOF 重写造成服务器无法处理请求， 所以 Redis 决定将 AOF 重写程序放到（后台）子进 程里执行， 这样处理的最大好处是： 1、子进程进行 AOF 重写期间，主进程可以继.
深入解析Redis的AOF持久化
pleasenoerror的博客
07-13 200
深入解析Redis的AOF持久化
Redis之持久化与一致性
学习和工作总结，共勉！
12-02 233
Redis之持久化与一致性 一、 对象序列化 1.1. 将对象转成JSON字符串 创建一个实体类： @Data public class UserEntity { private String name; private String pass; private Integer age; } 对象转字符串 @RestController public class Redi...
Redis的持久化方案
04-03
AOF持久化方案是指记录每一个对Redis数据库进行修改的命令到一个日志文件中，并在Redis重启时通过回放这些命令来恢复数据。AOF能够提供更高的数据安全性，可以通过配置选择不同的fsync策略，如每次写入后同步到磁盘...
Redis的持久化方案.pdf（两种持久化方案：RDB 和 AOF，共15页）
最新发布
05-15
- `appendonly`: 是否启用AOF持久化，默认为no。 - `appendfsync`: 写入策略，默认为everysec，表示每秒同步一次。 - `auto-aof-rewrite-percentage` 和 `auto-aof-rewrite-min-size`: 控制何时自动触发AOF重写。 #...
Redis两种持久化方案RDB和AOF详解
09-09
**AOF持久化**： AOF（Append Only File）记录了所有的写操作日志，每次写操作都会追加到AOF文件的末尾。Redis启动时，会读取AOF文件来恢复数据。AOF的默认关闭状态可以通过在配置文件中设置`appendonly yes`来启用...
Redis数据一致性问题的三种解决方案
勤劳的小琪
05-16 4097
无论是更新缓存还是删除缓存，在同时操作缓存和数据库时，都无法保证两者都能一次性操作成功，所以我们最好的办法就是重试，这个重试并不是立即重试，因为缓存和数据库可能因为网络或者其它原因停止服务了，立即重试成功率极低，而且重试会占用线程资源，显然不合理，所以我们需要采用异步重试机制。如果只有第一步执行成功，而第二步失败，那么只有缓存中的数据被删除了，但是数据库没有更新，那么在下一次进行查询的时候，查不到缓存，只能重新查询数据库，构建缓存，这样其实也是相对做到了数据一致性。进行两次删除，且中间需要延迟一段时间。
Redis--重写机制（减小AOF文件大小）
IT利刃出鞘的博客
02-09 6108
本文介绍Redis的重写机制。
怎样理解Redis中的AOF重写？
Blue92120的博客
11-15 546
如果 AOF 同步策略配置的是 always，则直接将命令写回 旧的日志文件 ，并且保存一份命令至 AOF重写缓冲区 ，这些操作对新的日志文件是不存在影响的。而在 bgrewriteaof 子进程完成会日志文件的重写操作后，会提示主线程已经完成重写操作，主线程会将 AOF 重写缓冲中的命令追加到新的日志文件后面。Redis 通过创建一个新的 AOF 文件来替换现有的 AOF，新旧两个 AOF 文件保存的数据相同，但新 AOF 文件没有了冗余命令。1、fork 子进程时，需要拷贝虚拟页表，会对主线程阻塞。
从一笔金币充值去思考分布式事务
weixin_34367845的博客
09-25 551
文章纲要 此次分享的缘由 目前分布式事务问题是怎么解决的 行业中有什么解决方案 这些解决方案分别有什么优缺点 别人是怎么做的 我们可以怎么来做 此次分享的缘由 支付重构 考虑支付重构的时候，自然想到原本属于一个本地事务中的处理，现在要跨应用了要怎么处理。拿充值订单举个栗子吧，假设：原本订单模块和账户模块是放在一起的，现在需要做服务拆分，拆分成订单服务，账户服务。原本收到充值回调后，可以将修改订...
Redis Cluster深入与实践
weixin_34080571的博客
10-26 349
1. Redis介绍www.redis.ioredis是一个基于内存的K-V存储数据库。支持存储的类型有string,list,set,zset(sorted set),hash等。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。redis支持各种不同方式的排序。保证效率的情况下，数据缓存在内存中。同时redis提供了持久化策略，...
Redis之AOF数据备份
hq.zheng的博客
04-06 2046
一、AOF是什么？ 以日志的形式来记录每个写操作，将Redis执行过的所有写指令记录下来(读操作不记录)，Aof保存的是appendonly.aof文件，只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。 二、怎么配置？ 找到redis.conf配置文件开启AOF 修...
如何解决Redis 主从数据不一致问题
weixin_34405332的博客
02-05 4856
线上问题 近期我们在对Redis做大规模迁移升级的时候，采用模拟复制协议的方式进行数据传输同步。 在此期间，我们遇到如下两个问题： 迁移前后Redis过期时间不一致。 迁移前后Redis key 数量不一致。 迁移前后Redis过期时间不一致 针对第一个问题，Redis 过期时间不一致问题，通过测试并且查阅Redis源码中得出如下结论...
Redis群集一致性保证
CurryClot的博客
03-15 2507
Redis Cluster无法保证强一致性。实际上，这意味着在某些条件下，Redis Cluster可能会丢失系统向客户端确认的写入。 Redis Cluster可能丢失写入的第一个原因是它使用异步复制。这意味着在写入期间会发生以下情况： 您的客户端写入主B. 主人B向您的客户回复确定。 主设备B将写入传播到其从设备B1，B2和B3。 正如你所看到的，B在回复客户端之前并没有等待来自B1，...
Redis RDB与AOF持久化方案深度解析
- AOF提供了更强的数据一致性，但处理速度相对较慢，因为它需要记录每条写命令，并在重启时重新执行这些命令。 选择RDB还是AOF取决于具体需求。RDB适合于对性能要求较高，但可接受一定程度数据丢失的情况；而AOF...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值