redis的AOF持久化方案如何解决备份时数据一致性问题

最新推荐文章于 2023-05-18 15:54:11 发布
最新推荐文章于 2023-05-18 15:54:11 发布
阅读量826 收藏 2
点赞数 2
分类专栏： 算法策略 redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/dreamvyps/article/details/84207335
版权

AOF持久化

redis支持两种持久化方案，一种是RDB，RDB直接保存的是数据。另一种是AOF方案，保存下来的是用户的操作过程，可以简单理解为把用户对数据库操作的命令保存下来了，通过回放，可以恢复数据的一种持久化方案。

正常AOF逻辑

为了满足效率要求，主进程对用户的每一次请求，会把请求写到AOF的缓冲区，然后再按一定的策略把AOF缓冲区的用户操作刷新的AOF磁盘文件中。

AOF日志膨胀问题

正常来说，如果只是记录用户的操作命令，那么AOF文件将会一直膨胀，而且对于同一个数据来说，会记录非常多的冗余信息。例如一个list，可能增加节点10000次，删除节点9999次，最后剩下一个节点的情况下，那如果正常来说使用AOF，则需要记录19999条数据。这种情况下，有效信息是非常少，绝大部分成了冗余信息。

膨胀问题解决方案

redis采用一种叫AOF重写机制，直接根据数据中存在什么来记录日志。例如当前只有一条数据，AOF不会关注之前使用了多少条命令，直接就保存下这一条数据需要的命令即可。这样即可大量减少冗余信息，达到精简数据的目的

AOF重写方案

假如你作为redis的AOF重写机制的设计者，如何设计重写逻辑。
方案1：正常来说，主进程中直接阻塞，把当前的内存数据保存好，生成新的AOF重写文件，再把AOF文件进行原子替换即可。
存在问题：这个方案可以满足需求，但性能极差

最低0.47元/天 解锁文章
werflychen
关注
  • 2
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis两种持久化方案RDB和AOF详解
09-09
**AOF持久化**： AOF（Append Only File）记录了所有的写操作日志，每次写操作都会追加到AOF文件的末尾。Redis启动时，会读取AOF文件来恢复数据。AOF的默认关闭状态可以通过在配置文件中设置`appendonly yes`来启用...
Redis的持久化方案详解
09-08
Redis的持久化方案是确保数据安全的关键特性，它允许在Redis进程意外退出或系统崩溃时，能够恢复数据。本文将详细介绍Redis的两种主要持久化机制：RDB（Redis Database Backup）和AOF（Append Only File）。 **RDB...
Redis 持久化机制
happyJared
08-25 108
持久化数据，也就是将内存中的数据写入到硬盘里，大部分原因是为了之后重用数据（比如重启机器、机器故障后恢复数据），或是为了防止系统故障而将数据备份到远程。 Redis 不同于 Memcached 的重要一点就是，Redis 支持持久化，且支持两种不同的持久化操作。 默认的持久化方式叫快照（snapshotting，RDB），另一种方式是只追加文件（append-only file，A...
Redis
weixin_51699336的博客
07-06 331
https://blog.csdn.net/weixin_40205234/article/details/124614720 redis-benchmark：性能检测 redis-check-aof：AOF持久化文件检测及修复工具 redis-check-dump持久化文件检测及修复工具 redis-sentinel：启动哨兵 redis-trib：cluster集群构建工具 4.Redis支持的数据类型 String：可存字符串，整型与浮点型，可自增自减，支持二进制位操作，适用共享session，
Redis 笔记四 AOF重写、触发方式、混合持久化
文报的博客
07-31 1609
AOF重写Redis可以在 AOF体积变得过大时，自动地在后台（Fork子进程）对 AOF进行重写。重写后的新 AOF文件包含了恢复当前数据集所需的最小命令集合。 所谓的“重写”其实是一个有歧义的词语， 实际上， AOF 重写并不需要对原有的 AOF 文件进行任何写入和读取， 它针对的是数据库中键的当前值。 Redis 不希望 AOF 重写造成服务器无法处理请求， 所以 Redis 决定将 AOF 重写程序放到（后台）子进 程里执行， 这样处理的最大好处是： 1、子进程进行 AOF 重写期间，主进程可以继.
深入解析Redis的AOF持久化
pleasenoerror的博客
07-13 189
深入解析Redis的AOF持久化
Redis--重写机制（减小AOF文件大小）
IT利刃出鞘的博客
02-09 5503
本文介绍Redis的重写机制。
浅谈redis内存数据的持久化方式
09-09
AOF持久化记录每次写操作到一个日志文件中，当Redis重启时，会重新执行这些命令以恢复数据。AOF文件可配置为追加模式，每次写操作都追加到文件末尾，或者使用重写策略压缩历史命令，减少文件大小。 AOF开启后，...
从源码解读redis持久化
09-09
AOF持久化则是通过记录所有写操作命令到一个日志文件（`.aof`）来实现。当Redis重启时，它可以重放这些命令来恢复数据。AOF提供了三种不同的同步策略： 1. **always**：每次写操作完成后立即同步到磁盘，这是最安全...
一篇文章揭秘Redis的磁盘持久化机制
09-09
AOF持久化记录了Redis服务器接收到的每一个写命令，以文本格式追加到AOF文件（默认文件名appendonly.aof）中。当Redis重启时，会重新执行AOF文件中的命令来还原数据。AOF提供了更高的数据安全性，因为即使在进程退出...
怎样理解Redis中的AOF重写？
Blue92120的博客
11-15 530
如果 AOF 同步策略配置的是 always，则直接将命令写回 旧的日志文件 ，并且保存一份命令至 AOF重写缓冲区 ，这些操作对新的日志文件是不存在影响的。而在 bgrewriteaof 子进程完成会日志文件的重写操作后，会提示主线程已经完成重写操作，主线程会将 AOF 重写缓冲中的命令追加到新的日志文件后面。Redis 通过创建一个新的 AOF 文件来替换现有的 AOF，新旧两个 AOF 文件保存的数据相同，但新 AOF 文件没有了冗余命令。1、fork 子进程时，需要拷贝虚拟页表，会对主线程阻塞。
Redis数据持久化AOF和RDB原理
qq_46130027的博客
05-18 80
当执行保存操作时，Redis会将数据集的状态进行快照，并将其转换为二进制格式，然后将该快照保存到一个文件中。最初，Redis打算去分析原来的AOF文件，然后将其中的冗余指令去掉来给AOF文件瘦瘦身。为了节约空间，Redis定义了二进制的格式，把数据一条一条码在一起，生成了一个rdb文件。将之前的写入命令都记录下来，专门写入了一个文件，并给这种持久化方式也取了一个名字AOF，AOF是。，从创建重写子进程开始的那一刻起，Redis将后面来的命令复制并写到这个重写缓冲区中。，而不是修改已有的文件内容。
从一笔金币充值去思考分布式事务
weixin_34367845的博客
09-25 530
文章纲要 此次分享的缘由 目前分布式事务问题是怎么解决的 行业中有什么解决方案 这些解决方案分别有什么优缺点 别人是怎么做的 我们可以怎么来做 此次分享的缘由 支付重构 考虑支付重构的时候，自然想到原本属于一个本地事务中的处理，现在要跨应用了要怎么处理。拿充值订单举个栗子吧，假设：原本订单模块和账户模块是放在一起的，现在需要做服务拆分，拆分成订单服务，账户服务。原本收到充值回调后，可以将修改订...
73、redis持久化与一致性
封神之路
11-24 444
MySQL与Redis的数据同步的问题如何解决？ 方式1 直接清理Redis的缓存，重新查询数据库即可~~ 方式2 直接采用mq订阅mysql binlog日志文件增量同步到Redis中，整个过程采用最终一致性方案。 方式3. 使用alibaba的canal Redis的持久化机制 Redis因为某种原因的情况下宕机之后，数据是不会丢失的。 原理就是持久化 EHCACHE：...
Redis Cluster深入与实践
weixin_34080571的博客
10-26 334
1. Redis介绍www.redis.ioredis是一个基于内存的K-V存储数据库。支持存储的类型有string,list,set,zset(sorted set),hash等。这些数据类型都支持push/pop、add/remove及取交集并集和差集及更丰富的操作，而且这些操作都是原子性的。redis支持各种不同方式的排序。保证效率的情况下，数据缓存在内存中。同时redis提供了持久化策略，...
如何解决Redis 主从数据不一致问题
weixin_34405332的博客
02-05 4830
线上问题 近期我们在对Redis做大规模迁移升级的时候，采用模拟复制协议的方式进行数据传输同步。 在此期间，我们遇到如下两个问题： 迁移前后Redis过期时间不一致。 迁移前后Redis key 数量不一致。 迁移前后Redis过期时间不一致 针对第一个问题，Redis 过期时间不一致问题，通过测试并且查阅Redis源码中得出如下结论...
AOF后台重写也会造成阻塞
jaybroker的博客
03-08 1743
Redis为了解决AOF后台重写造成的数据不一致问题，设置了AOF重写缓冲区。即使设置了no-appendfsync-on-rewrite yes也会造成短暂的主进程阻塞。原因就在于子进程完成AOF重写之后，会发送一个信号给主进程，而父进程会在这个时候调用信号处理函数，主要是将新的AOF文件替换旧的AOF文件，那么在这段时间内， 主进程是阻塞的。
Redis持久化中的RDB、AOF以及混合模式
时间蜗牛的博客
05-17 6500
Redis持久化 1 RDB 在指定的时间间隔内将内存中的数据以快照的形式保存到磁盘 过程： 1 客户端执行bgsave命令，redis主进程收到指令并判断此时是否在执行bgrewriteaof， 如果此时正好在执行则bgsave直接返回，不fork子进程，如果没有执行2bgrewriteaof重写AOF文件，则进入下一个阶段； 3主进程调用fork方法创建子进程，在创建过程中redis主进程阻塞，所以不能响应客户端请求； 4子进程创建完成以后，bgsave命令返回“Background saving st
Redis 数据备份与恢复(持久化)
书香水墨
07-31 952
一、Redis 数据备份与恢复 Redis SAVE 命令用于创建当前数据库的备份。 1.1 创建备份 该命令将在 redis 安装目录中创建dump.rdb文件。 redis 127.0.0.1:6379> SAVE OK 1.2 回复数据 如果需要恢复数据，只需将备份文件 (dump.rdb) 移动到 redis 安装目录并启动服务即可。获取 redis 目录可以使用 CO...
redis 持久化 面试问题
最新发布
06-09
以下是一些关于 Redis 持久化的可能面试问题： 1. Redis 的持久化有哪些方式？ Redis 的持久化有两种方式，一种是 RDB 持久化，一种是 AOF 持久化。 2. RDB 持久化和 AOF 持久化有什么区别？ RDB 持久化是将 Redis 在内存中的数据快照保存到磁盘上，而 AOF 持久化则是将 Redis 执行的每条写命令记录到磁盘上。RDB 持久化可以节约磁盘空间，但可能会丢失最近的一些数据，而 AOF 持久化可以保证数据不会丢失，但可能会占用更多的磁盘空间和写入时间。 3. Redis 的持久化机制是如何保证数据一致性的？ Redis 的持久化机制可以通过在每次写操作后立即同步到磁盘，或者设置定期同步时间来保证数据一致性。 4. Redis 的持久化可以在运行时进行吗？ 可以，Redis 的持久化可以在运行时进行配置和切换，例如可以在运行时从 RDB 切换到 AOF 持久化，或者从 AOF 切换到 RDB 持久化。 5. Redis 的持久化会对性能产生影响吗？ 会，Redis 的持久化会增加磁盘 I/O 开销，可能会对写入性能产生一定的影响，但可以通过合理的配置来平衡性能和数据一致性。 6. Redis 的持久化可以与 Redis 集群一起使用吗？ 可以，Redis 的持久化可以与 Redis 集群一起使用，但需要注意配置文件的设置和数据同步的策略。 总之，Redis 的持久化是保证数据一致性和可靠性的重要手段，需要根据具体的业务需求和性能要求来选择合适的持久化方式，并进行合理的配置和优化。在面试中，还需要了解 Redis 持久化的原理、机制、优缺点、与集群的结合等方面的知识。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值