redis AOF机制

于 2024-08-20 11:16:54 发布
阅读量275 收藏 4
点赞数 10
分类专栏： redis 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_40244755/article/details/141353358
版权

在这里插入图片描述
在redis运行期间，不断将redis执行的写命令写到文件中，redis重启之后，只要将这些命令重复执行一遍就可以恢复数据。因为AOF只是将少量的写命令写入AOF文件中，因此其执行效率高于RDB，开启AOF即使Redis发生故障，丢失的数据也较少。

appendonly yes
appendfilename appendonly.aof

aof重写：随着命令不断添加aof文件会越来越大，redis会进行aof的重写，每个健只会写入最后一次命令，已删除或过期的数据相关命令将抹去。

  1. AOF定时逻辑
    1. 判断是否存在AOF重写操作，若当前没有子进程则执行AOF重写操作
    2. AOF重写条件
      1. AOF文件大于server.aof_rewrite_min_size
      2. 上次AOF重写后的文件大小，当前AOF文件增加的空间大小比例已经超过了server.aof_rewrite_perc配置，此配置默认为100.例如上次重写aof大小为80MB，现在aof文件有160了，则满足重写要求。
    3. 存在延迟的AOF缓冲区刷新操作，则将数据从缓冲区刷到文件中。
    4. 每经过一段时间，执行：若上次AOF缓冲区刷新操作中写入磁盘出错，则再次刷新缓冲区
  2. AOF持久化过程
    1. 命令传播
      1. 对带EXPIRE、EXPIREAT、PEXPIRE、SETEX、PSETEX,或者带EX、PX选项的SET命令做特殊处理。因为这些命令带有过期时间，需要将这些命令转换为PEXPIREAT命令，将过期时间的时间戳写入buf暂存区。
      2. 对于其他命令将命令写入buf暂存区
      3. 若服务器开启AOF功能，则将buf暂存区内容写入AOF缓冲区
      4. 如果当前线程正在执行AOF重写操作，则还需将buf暂存区内容写入到AOF重写缓冲区
    2. 刷新AOF缓冲区
      1. 当AOF缓冲区为空时，如果刷盘策略为每秒同步，且当前存在待同步的数据，距上次同步已经过去一秒，则开始同步。否则退出。
      2. 检查后台线程是否正在执行同步操作，若存在则执行以下逻辑：若同步策略为每秒同步，则延迟AOF缓冲区刷新操作。如果已经延迟多次且延迟时间超过2秒，则强制刷新AOF缓冲区。
      3. 将AOF缓冲区内容写入文件
      4. aof缓冲区内容刷新成功后，若aof总空间小于4kb，则清空并重用aof缓冲区，否则新建一个新的缓冲区。
    3. 同步磁盘
      1. 刷盘策略：
        1. 不执行fsync，速度快的安全性低
        2. 执行fsync，安全性高速度慢
        3. 每个一秒执行fsync，折中处理
      2. 如果程序存在子进程，且开了server.aof_no_fsync_on_rewrite配置，就不同步磁盘
      3. 若刷盘策略是每次同步(2)，则开始同步磁盘
      4. 若刷盘策略为每秒同步，且距上次同步已经过去一秒，则添加一个后台任务同步磁盘
  3. AOF重写
    1. aof混合持久化
      1. 若开启混合持久化，在AOF重写时，会将redis数据以RDB格式保存到新文件中，再将重写缓冲区增量写命令以aof格式写入文件。
    2. 重写过程：
      1. fork一个子进程(aof进程)，负责将当前内存数据保存到一个新文件中
        1. 打开一个临时文件并初始化rio变量
        2. 若开启了aof持久化，则生成rdb文件到临时文件中，否则将redis数据转化为写入命令写入临时文件
        3. 重复从server.aof_pipe_read_data_from_parent读取增量命令：
          1. 读取时间超过一秒或者连续20毫秒没有读取到则停止
          2. 若没有读取到增量命令则阻塞一秒等待增量命令
        4. 通知主进程(父进程)停止发送增量命令
        5. 再一次从server.aof_pipe_read_data_from_parent读取增量命令
        6. 将暂存区内容写入文件并同步磁盘
        7. 重命名文件
      2. 将步骤一执行期间的增量命令写入新文件中
      3. 主进程收尾，将步骤二执行期间主进程执行的赠礼命令写入新文件中，替换新的AOF文件
        1. 打开aof进程创建的文件
        2. 将重写缓冲区内容写入临时文件
        3. 重命名文件进行替换
        4. 磁盘同步并清空server.aof_buf内容
  4. AOF文件加载：
    1. 打卡aof文件
    2. 创建一个伪客户端，执行aof文件中的命令
    3. 如果文件以redis标志开头，则该aof文件是混合持久化方式生成，需调用处理RDB内容的函数加载RDB内容
    4. 处理aof文件中的命令
    5. 按照RESP协议格式，读取命令参数数量
    6. 读取每一个参数
    7. 查找命令redisCommand
    8. 调用redisCommand.proc执行命令
笑笑布丁
关注
  • 10
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis 持久化之RDB和AOF.doc
10-09
Redis 持久化是确保数据安全的重要机制，它提供了两种主要的方法：RDB（Redis Database）和 AOF（Append Only File）。RDB 是一种快照式的持久化方式，而 AOF 则记录每次写操作的日志。 RDB 持久化在特定条件下将...
尚硅谷——Redis之RDB和AOF持久化
01-31
标题中提到的“尚硅谷——Redis之RDB和AOF持久化”意味着本文将重点讨论Redis数据库的两种主要持久化机制：RDB（Redis Database）和AOF（Append Only File）。RDB是通过创建内存数据集的快照来实现数据持久化，而AOF...
来聊聊Redis的AOF重写机制
Hi，我是sharkchili，CSDN Java领域博客专家，开源项目JavaGuide维护人员，我想写一些有意思的东西，希望对你有帮助。
07-09 991
因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注。因为近期收到很多读者的私信，所以也专门创建了一个交流群，感兴趣的读者可以通过上方的公众号获取笔者的联系方式完成好友添加，点击备注。文件，基于del等指令将抹去一些无用的键值对，但是笔者查看源码后发现，此类说法有着严重的错误，所以笔者就基于此文来详细讨论一些。，可以看到其内部就是生成一个临时文件，然后遍历数据库中的键值对，根据键值对的类型生成相应的。以本文为例，假设我们。
【Redis】—— Redis的AOF持久化机制
仰望天空，妳我亦是行人.
07-11 1724
💧AOF持久化是Redis提供的一种持久化机制，它将Redis服务器接收到的每个写命令追加到一个文件中，这个文件称为AOF文件。通过将写命令追加到文件末尾，AOF持久化记录了对数据库所做的每个更改操作。💧Redis重启时，可以通过重新执行AOF文件中的所有写命令来还原数据集的状态，从而实现数据的持久性。
redis的AOF机制
追风筝的摆渡人
02-22 395
Redis AOF(Append Only File)机制是为了记录每一次redis命令的操作并用于恢复数据。当日志过大后，redis启动子线程执行重刷AOF，上例中，AOF只记录一条记录。set k = 10 ，当服务器重启后依次执行命令恢复k = 10。
Redis AOF日志
qq_29744347的博客
06-30 797
Redis AOF详解
redis的aof的重写机制
qq_63431773的博客
07-12 866
redis有两中数据持久化的方法，RDB和AOF。其中的AOF技术是相对RDB几乎实时去实现数据指令的一个持久化，将每一个数据操作指令以日志追加形式写入aof文件里面，但是如果一直追加有可能导致aof文件过大，造成IO性能的问题，为解决这个aof文件过大问题，redis设计出AOF重写机制。
Redis AOF重写实现原理
lengjian68的专栏
08-23 1707
AOF（append only file）对Redis进行持久化是通过保存被执行的写命令来记录数据库状态的，随着服务器运行，AOF文件内容越来越多，载入AOF文件的时间会越来越长，影响Redis服务。 所以有必要对’冗余‘的AOF文件进行优化，即AOF文件重写。 那为什么要进行AOF后台重写？因为Redis单线程特性，AOF重写操作会引入大量写操作，引起stop the world，所以fork出子进程执行AOF后台重写，这样父进程可以继续处理命令请求。 AOF重写原理 怎么重写？是对旧的AOF文件进行读
Redis AOF持久化机制
gift_z的博客
03-19 860
每当有一个修改数据库的命令被执行时，服务器就将命令写入到 appendonly.aof 文件中，该文件存储了服务器执行过的所有修改命令，因此，只要服务器重新执行一次 .aof 文件，就可以实现还原数据的目的，这个过程被形象地称之为“命令重演”。在上述介绍写入机制的过程中，如果遇到宕机前，缓存内的数据未能写入到磁盘中，那么数据仍然会有丢失的风险。服务器宕机时，丢失命令的数量，取决于命令被写入磁盘的时间，越早地把命令写入到磁盘中，发生意外时丢失的数据就会越少，否则越多。
Redis持久化——AOF机制详解
若明天不见
01-19 1866
Redis提供了RDB和AOF的持久化选项。本文主要介绍AOF的核心概念、同步步骤、保存模式、AOF重写详解及AOF的优缺点，还介绍了RDB和AOF混合方式的运行机制。AOF（Append Only File）：以协议文本的方式，将所有对数据库进行过写入的命令（及其参数）记录到 AOF 文件，以此达到记录数据库状态的目的
【Redis】持久化—RDB和AOF机制
qq_55119554的博客
08-12 845
Redis中RDB和AOF持久化机制！！！
Redis_AOF
Mudrock__的博客
10-29 556
Redis通过创建子进程进行AOF重写，子进程与主进程共享物理内存数据（旧aof文件）；1.Redis创建伪客户端（Fake Client）以执行命令（Redis 的命令只能在客户端上下文中执行）Redis会将接收到的写命令追加到aof文件中，当Redis重启时，会根据aof文件进行数据还原。no：不进行aof同步，等待操作系统的自动同步（Linux系统默认间隔30S进行一次同步）注：伪客户端无网络连接，也无需网络连接，因为伪客户端执行的命令均直接来自于aof文件。2.从aof文件中读取一条写命令。
redis学习之RDB、AOF与复制时对过期键的处理教程
09-09
在 Redis 中，数据持久化是通过两种主要方式实现的：RDB（Redis Database Backup）和 AOF（Append Only File）。这两种机制有助于在服务器重启或发生故障时恢复数据。此外，Redis 还支持主从复制，这在分布式环境和...
Redis持久化 - RDB和AOF
08-17
RDB和AOF都是Redis持久化的重要机制，它们可以帮助Redis避免数据丢失，提高数据的安全性和可靠性。但是，RDB和AOF也存在一些缺点，例如RDB可能会造成数据丢失，AOF可能会造成日志文件过大。因此，在使用RDB和AOF时，...
redis-5.0.8
05-24
AOF（Append Only File）持久化模式也得到了改进，现在支持后台重写（BGSAVE），在不影响服务的同时提高数据恢复的效率。此外，Redis 5.0 还引入了 LRU（Least Recently Used）算法的替代方案，称为 LFU（Less ...
【速览】Redis（更新中）
最新发布
椰子的职场成长记录
08-20 268
Redis 支持多种数据结构，如字符串（strings）、哈希（hashes）、列表（lists）、集合（sets）、有序集合（sorted sets）等。持久化：Redis 支持两种持久化方式，RDB（快照）和 AOF（追加文件），以确保数据在重启后不会丢失。原子操作：Redis 的所有操作都是原子的，这使得它非常适合于需要高并发和数据一致性的场景。Lua 脚本：Redis 支持在服务器端执行 Lua 脚本，可以用于实现复杂的业务逻辑。事务支持：Redis 支持事务，可以将多个命令打包在一起执行。
redis事件机制
笑笑布丁的博客
08-16 648
aeApiAddEvent、aeApiDelEvent：增加或删除一个监听对象。aeEventLoop：redis事件循环器，负责管理事件。aeFileEvent：存储一个文件描述符已注册的文件事件。aeApiPoll：阻塞进程，等待事件就绪或给定事件到期。aeApiCreate：初始化I/O复用机制上下文环境。aeTimeEvent：存储一个时间事件的信息。
Redis单线程模式
m0_59680769的博客
08-15 395
单线程的程序是无法利用服务器的多核 CPU 的，所以。，更多情况下是受到内存大小和网络I/O的限制。
【Redis】集合类型详解及实际应用场景分析：从命令操作到内部编码
Hsusan的博客
08-20 336
如果 set1 和 set2 中都有一个 1，此时让 set1 的 1 移动到 set2 中，最终返回值是 1，即移动成功，set1 的 1 不见了，set2 的 1 也还在。注意，由于 set 内的元素是⽆序的，所以取出哪个元素实际是未定义⾏为，即随机删除，这里是真随机，而不是伪随机。这里的无序，是指变换一下元素的顺序，集合还是一样的集合，而不是说顺序逆序的无序。获取⼀个 set 的基数（cardinality），即 set 中的元素个数。获取⼀个 set 中的所有元素，注意，元素间的顺序是⽆序的。
redis AOF
09-14
Redis AOF是一种持久化机制，用于将Redis服务器的操作日志以追加的方式记录在磁盘上。引用中提到，当AOF文件的体积变得过大时，Redis可以自动进行AOF重写。AOF重写实际上是对当前数据集所需的最小命令集合进行重写，而不是对原有的AOF文件进行写入和读取操作。这个重写过程是在后台进行的，通过fork子进程来执行。重写后的新AOF文件能够恢复当前数据集的状态。 引用中提到，Redis将AOF重写程序放在后台子进程中执行的原因是为了避免影响服务器的请求处理能力。通过将AOF重写程序放在后台执行，可以确保服务器能够继续处理请求，而不会被AOF重写过程阻塞。 在Redis服务器中，redisServer结构维护着服务器的状态，而aof_buf域则用来保存等待写入AOF文件的协议文本(RESP)。这些协议文本包含了对键的操作命令，用于记录服务器的操作日志。当需要将操作日志写入AOF文件时，这些协议文本会被写入到AOF缓冲区中，然后由后台的AOF子进程负责将缓冲区中的内容写入到AOF文件中。这种方式可以提高性能，并且减少了直接写入文件的开销。引用中提到了这一点。 综上所述，Redis的AOF机制是通过记录操作日志来实现数据持久化的。当AOF文件体积过大时，Redis会自动进行AOF重写，将当前数据集所需的最小命令集合写入一个新的AOF文件中。为了避免影响服务器的请求处理能力，AOF重写过程会在后台执行。通过维护一个AOF缓冲区，Redis可以将待写入的协议文本暂时保存在内存中，然后由后台子进程负责将其写入AOF文件中。这种机制可以提高性能并减少直接写入文件的开销。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值