【Redis 干货领域】从底层彻底吃透 AOF 重写 (原理篇)

最新推荐文章于 2025-03-19 10:33:23 发布
最新推荐文章于 2025-03-19 10:33:23 发布
阅读量1.1k 收藏 4
点赞数 4
分类专栏： JAVA 文章标签： redis java 后端
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/m0_57227221/article/details/117047442
版权
本文深入探讨Redis的AOF持久化机制，重点关注AOF重写（Rewrite）的原理和问题解决方案。AOF通过记录所有写操作确保数据完整性，但可能导致文件膨胀。Redis通过后台子进程进行重写，减少文件大小，同时介绍异步重写避免阻塞工作线程。文章还提出了新的重写问题解决方案——buffer配对文件机制，以解决内存占用过多的问题。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

每日一句
不要轻易去依赖一个人，它会成为你的习惯，当分别来临，你失去的不是某个人，而是你精神的支柱。无论何时何地，都要学会独立行走，它会让你走得更坦然些。

前提介绍
为了保证缓存数据的完整性和可靠性，Redis 提供两种持久化机制：

  • RDB: 将数据库的快照以二进制的方式保存到磁盘；

  • AOF: 将所有写入命令及相关参数以协议文本的方式写入文件并持久保存磁盘；

本文只关心 AOF，Redis Server 将所有写入的命令转换成 RESP 协议文本的方式写入 AOF 文件。

AOF 的实现
Redis 的 AOF 是类似于 log 的机制，每次写操作都会写到硬盘上，当系统崩溃时，可以通过 AOF 来恢复数据。每个带有写操作的命令被 Redis 服务器端收到运行时，该命令都会被记录到 AOF 文件上。由于只是一个 append 到文件操作，所以写到硬盘上的操作往往非常快。

其实 Redis AOF 机制包括了两件事， Rewrite 和 AOF，因为 AOF 主要采用的方式属于 Append Of File 的方式追加是文档存储， 本质内容暂时不考虑，本章重点内容是 Rewrite 机制 。

AOF 执行案例
Redis Server 收到 set key value 的的写入命令，Redis server 会进行以下几步操作：

  • 将命令转换成协议文本，转换后的结果：
<code data-type="codeline">*3</code><code data-type="codeline">$3</code><code data-type="codeline">SET</code><code data-type="codeline">$3</code><code data-type="codeline">KEY</code><code data-type="codeline">$5</code><code data-type="codeline">VALUE</code>

最低0.47元/天 解锁文章
来聊聊Redis的AOF重写机制
Hi，我是sharkchili，CSDN Java领域博客专家，开源项目JavaGuide维护人员，我想写一些有意思的东西，希望对你有帮助。
07-09 1255
因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注。因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注。文件，基于del等指令将抹去一些无用的键值对，但是笔者查看源码后发现，此类说法有着严重的错误，所以笔者就基于此文来详细讨论一些。，可以看到其内部就是生成一个临时文件，然后遍历数据库中的键值对，根据键值对的类型生成相应的。以本文为例，假设我们。
优化Redis AOF重写配置：解决AOF文件过大的终极指南
最新发布
2402_83235349的博客
03-20 1033
本文深入剖析Redis AOF持久化机制，通过调整 appendfsync、no-appendfsync-on-rewrite 等核心参数，解决AOF文件膨胀问题。详细解读配置优化步骤、性能与数据安全的权衡策略，并提供生产环境最佳实践，助你轻松实现Redis高性能与高可靠性的双重保障。
Redis之AOF重写及其实现原理
热门推荐
darcy.q.cs的专栏
04-06 3万+
AOF 重写 AOF 文件重写的实现 AOF重写功能的实现原理 AOF后台重写 使用子进程进行AOF重写的问题 如何修正 效果 完成AOF重写之后 触发AOF后台重写的条件 总结 refAOF 重写 AOF 持久化是通过保存被执行的写命令来记录数据库状态的，所以AOF文件的大小随着时间的流逝一定会越来越大；影响包括但不限于：对于Redis服务器，计算机的存储压力；AOF还原出数据库状态的时间增加；
redis重写aof原理
计算机毕业论文源码，学生个人网页制作html源码。贴近用户做网络推广和互联网优化。
11-13 371
redis rdb和aof的区别 able. We seldom think of it. The days str 博学谷redis基础教程-63-AOF重写工作原理 linux上怎么配置redis的aof持久化 ############################## APPEND ONLY MODE ...
Redis---RDB_AOF_混合持久化，从零基础到精通，收藏这篇就够了！
yy1715713348的博客
03-19 573
Redis 是内存数据库，数据都是存储在内存中，为了避免进程退出导致数据的永久丢失，需要定期将 Redis 中的数据以某种形式（数据或命令）从内存保存到硬盘。当下次 Redis 重启时，利用持久化文件实现数据恢复。除此之外，为了进行灾难备份，可以将持久化文件拷贝到一个远程位置。
缓存数据库REDIS之二：AOF重写原理
云来云去的博客
08-03 4146
一、为什么使用AOF RDB持久化是将进程数据写入文件，而AOF持久化，则是将Redis执行的每次写、删除命令记录到单独的日志文件中，查询操作不会记录; 当Redis重启时优先执行AOF文件中的命令来恢复数据。 与RDB相比，AOF的实时性更好，因此已成为主流的持久化方案。 二、AOF 重写作用 AOF 持久化是通过保存被执行的写命令来记录数据库状态和相关数据，所以AOF文件的大小随着时间推进会越来越大；那么通过AOF文件进行还原出数据库的时间也会相应增...
Redis AOF重写实现原理
lengjian68的专栏
08-23 1860
AOF（append only file）对Redis进行持久化是通过保存被执行的写命令来记录数据库状态的，随着服务器运行，AOF文件内容越来越多，载入AOF文件的时间会越来越长，影响Redis服务。 所以有必要对’冗余‘的AOF文件进行优化，即AOF文件重写。 那为什么要进行AOF后台重写？因为Redis单线程特性，AOF重写操作会引入大量写操作，引起stop the world，所以fork出子进程执行AOF后台重写，这样父进程可以继续处理命令请求。 AOF重写原理 怎么重写？是对旧的AOF文件进行读
Redis 持久化机制
happyJared
08-25 180
持久化数据，也就是将内存中的数据写入到硬盘里，大部分原因是为了之后重用数据（比如重启机器、机器故障后恢复数据），或是为了防止系统故障而将数据备份到远程。 Redis 不同于 Memcached 的重要一点就是，Redis 支持持久化，且支持两种不同的持久化操作。 默认的持久化方式叫快照（snapshotting，RDB），另一种方式是只追加文件（append-only file，A...
Redis AOF重写原原理
u013400314的博客
10-08 429
重写aof之前重写aof 一次appendonly.aof.2.base.aof 大小变化appendonly.aof.2.incr.aof 大小oappendonly.aof.manifest 大小不变AOF文件重写并不是对原文件进行重新整理，而是直接读取服务器现有的键值对，然后用一条命令去代替之前记录这个键值对的多条命令AOF重写触发机制：①自动触发通过redis.conf中。
Redis学习笔记-AOF日志&重写机制
qq_38937634的博客
12-30 1403
文章目录Redis学习笔记-AOF日志&重写机制1.笔记图2.AOF 日志实现3.写日志先后顺序的思考4.AOF 日志记录的内容举例说明5.由 AOF 日志记录引发的潜在风险思考6.潜在风险对应的三种写回策略7.性能问题8.AOF 重写机制9.AOF 重写机制引发的阻塞思考 Redis学习笔记-AOF日志&重写机制 Redis 使用最多的场景是 缓存，若出现服务器宕机的情况，内存中的数据将全部丢失，若恢复数据的时候从后端数据库读取就会给数据库造成很大的压力，并且数据恢复缓慢，所以对于 Red
Redis-AOF重写，AOF后台重写实现原理
心有多大舞台就有多大
03-17 1729
why AOF（append only file）对Redis进行持久化是通过保存被执行的写命令来记录数据库状态的，随着服务器运行，AOF文件内容越来越多，载入AOF文件的时间会越来越长，影响Redis服务。 所以有必要对’冗余‘的AOF文件进行优化，即AOF文件重写。 那为什么要进行AOF后台重写？因为Redis单线程特性，AOF重写操作会引入大量写操作，引起stop the world，所以f...
Redis 的持久化机制和AOF文件重写原理
齐天小圣^O^ 的博客
12-09 541
Redis与其他的key-value缓存相比有一个很大的不同点，redis支持数据的持久化，通过将内存中的数据持久化到磁盘中，下次重启直接加载继续使用，这避免了系统断电宕机导致数据丢失。Redis的持久化方式有两种：RDB和AOF。 一、RDB机制 RDB持久化方式是指在一定时间间隔内将内存中的数据以快照的形式写入到二进制文件中，文件名为dump.rdb，这是redis默认的持久化方式。“快照”就好比给数据进行拍照，只记录了某一时刻内存中的数据。 redis提供了三种方式来触发RDB机制：sav..
Redis-只追加日志AOF重写原理
文文x的博客
10-22 408
我们知道，Redis持久化机制有RDB快照持久化和只追加日志AOF持久化。AOF持久化可以实现数据的超高安全性，比RDB持久化更能保证数据的安全，达到不丢失1秒间的数据，但是随着Redis的不断运行，长期运行，日志文件会不断变大，甚至高达T级数据集，因此这就涉及到一个AOF重写机制： AOF 持久化是通过保存被执行的写命令来记录数据库状态的，所以AOF文件的大小随着时间的流逝一定会越来越大；影响包括但不限于：对于Redis服务器，计算机的存储压力；AOF还原出数据库状态的时间增加； 为了解决AOF文件体积膨
Redis的AOF重写机制
yjc0403的博客
12-05 684
Redis的AOF重写机制   1. 重写AOF的时候，创建一个重写子进程，然后读取旧的AOF文件，压缩并写入到一个临时AOF。 2. 在此期间，主进程一边将接收到的指令累计到一个缓冲区中，一边将指令写入到旧的AOF。 （这样的好处，保证AOF文件的可用性，避免写过程时出意外） 3. 子进程写完后，向主进程发送一个信号量，主进程就将缓冲区中的指令追加到新AOF。 4. 用新的AOF替...
【redis】AOF重写机制
weixin_43346403的博客
06-21 622
3.触发AOF重写时，内部做了哪些事情。
浅谈 AOF 重写机制
小生的博客
07-14 1878
AOF重写可以产生一个新的AOF文件，这个新的AOF文件和原有的AOF文件所保存的信息一样，但体积更小，可以节省 Redis 的空间。AOF重写之所以有日志瘦身的作用，原因在于其可以将旧日志文件中的多条命令，在重写后的新日志中变成一条命令。比如对一个list里面的元素写了又删，我就可以合并为一条命令 → 。如果不进行AOF重写，会导致AOF文件越来越大，从而产生性能问题：AOF重写不会阻塞主线程，其重写过程是由后台子进程 来完成的，从而避免了性能下降。 具体流程如下：...
redis aof 文件重写机制
Andy86869的博客
04-03 4457
redis 随着命令不断的写入数据，aof 文件会越来越大。为了解决这个问题，redis 引入了 aof 文件重写机制，以便压缩 aof 体积 ，更小的 aof 文件可以更快的被 redis 加载。 aof 文件重写是将 redis 中的数据转换为 写命令同步更新到 aof 文件的过程。 重写 aof 后 为什么么可以变小 清除了一些无效命令 eg. del srem 进程内超时的数据不再写入 ...
Redis持久化机制和AOF重写原理
zhangyuanshuai的博客
07-15 1125
目录Redis持久化快照(Snapshot)1.特点2.快照生成方式a) BGSAVEb) SAVEc) 服务器配置d) SHUTDOWN指令AOF(Append Only File)只追加日志文件1.特点2.开启AOF持久化a) 修改配置文件3.日志追加频率4.修改日志同步频率AOF文件的重写1.AOF带来的问题2.AOF重写3.触发重写方式4.重写原理总结 Redis持久化 Redis官方提供了两种持久化方法。 快照(Snapshot) AOF(Append Only File)只追加日志文件 快照
Redis核心解读–AOF与REWRITE机制
yangyutong0506的专栏
07-14 2万+
Redis AOF 简介 Redis AOF是类似于log的机制，每次写操作都会写到硬盘上，当系统崩溃时，可以通过AOF来恢复数据。每个带有写操作的命令被Redis服务器端收到运行时，该命令都会被记录到AOF文件上。由于只是一个append到文件操作，所以写到硬盘上的操作往往非常快。 其实Redis oaf机制包括了两件事，rewrite和AOF。rewrite类似于普通数据库管理系统
redis持久化----AOF重写
06-07
Redis的AOF持久化方式中，随着时间的推移，AOF文件会越来越大，而且还可能存在一些无用的命令。为了解决这个问题，Redis提供了AOF重写机制。 AOF重写机制会生成一个新的AOF文件，这个文件只包含当前Redis服务器中的数据库状态。AOF重写的过程是通过读取内存中的数据库状态，然后用一系列的Redis命令来重建一个新的AOF文件。 AOF重写机制的实现依赖于Redis的后台进程，该进程会周期性地检查当前AOF文件的大小和重写基准值之间的差异。如果差异超过了重写基准值，那么就触发AOF重写机制。 需要注意的是，在AOF重写期间，Redis仍然可以处理客户端的命令请求，因为AOF重写是在后台进行的，不会阻塞Redis的主线程。
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值