Redis--AOF持久化

已于 2023-09-25 23:05:59 修改
阅读量76 收藏
点赞数
文章标签： redis 数据库 缓存
于 2023-09-25 23:02:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_56446161/article/details/133282909
版权

文章目录

目录

文章目录

前言

一、AOF(append only file)功能

二、AOF持久化的实现---AOF文件怎么写

三、AOF重写---对AOF文件的压缩

总结

前言

AOF是Redis持久化的另外一种策略，出厂默认no，需要手动修改为yes，RDB和AOF一起存在的时候，redis默认先载入AOF文件，如果AOF文件出错再去载入RDB文件，AOF通过将数据库所有写命令追加到AOF文件实现数据库数据的存储，AOF文件的创建过程分为三个部分，首先是命令追加，服务器会将所有的写命令追加到aof缓冲区里，然后是文件写入和文件同步阶段，当服务器的一个事件循环结束，会调用flushAppendOnlyFile函数，通过配置appendsync选项，可以实现不同的写入和同步策略，默认是everysec也就是先将aof缓冲区数据写入AOF文件，如果距离上次同步已经超过1s那就重新同步，这样最多丢失1s的数据，还有一个是every每次都同步，安全但是效率低，和no只写入同步交给操作系统，不安全但是效率高，随着时间的增长AOF文件会越变越大，超过默认大小64M时触发AOF重写，我们可以通过后台重写AOF实现高性能的AOF文件压缩，具体过程就是维持一个aof重写缓冲区，执行重写的时候子进程扫描数据库中的所有数据，每个数据通过一个或者多个添加的写命令写入到新的AOF文件，在重写过程中所有写命令同时追加到aof缓冲区和aof重写缓冲区，持久化过程结束，子进程会给服务器进程发送一个信号处理函数，服务器进程阻塞，在这期间将aof重写缓冲区内容加入到新的AOF文件，然后用新的AOF文件替换旧的AOF文件，至此完成AOF后台重写，此时新的AOF文件将不会包含任何的冗余命令信息，REWRITEAOF和BGSAVE命令不会一起执行，如果执行了REWIRTEAOF就取消BGSAVE，如果执行了BGSAVE，完成后再执行REWRITEAOF，AOF的效率和文件都比RDB大，但是更新速率快，更安全。

一、AOF(append only file)功能

  • 按照Redis命令请求协议的格式保存Redis服务器所执行的写命令来记录数据库状态

二、AOF持久化的实现---AOF文件怎么写

  • 命令追加 (append)
    • 服务器每次执行一个写操作，就按照协议格式将这个操作追加到redisServer的aof-buf(aof缓冲区)末尾
  • appendonly.aof文件写入&文件同步 (sync)
    • redis服务器进程是一个事件循环，服务器每次结束一个事件循环之前会调用flushAppendOnlyFile函数，考虑是否要完成aof缓冲区中数据的文件写入和文件同步，具体如何做通过服务器配置的appendfsync选项值来决定
    • appendfsync
      • always
        • 每次都将aof缓冲区数据写入且同步到AOF文件
        • 最安全，但是效率比较低
      • everysec
        • 先将aof缓冲区数据写入AOF文件，如果距离上次同步已经超过1s，则再次由一个线程专门对文件进行同步
        • 比较安全，只会丢失1s的数据，效率较高，默认使用它
      • no
        • 只将aof缓冲区数据写入AOF文件，文件同步由操作系统管理
        • 最不安全，会丢失上次同步到宕机之间的数据，但是效率很
  • 载入AOF文件实现数据还原
    • 创建一个不带网络连接的伪客户端，由它来执行AOF文件里的写命令，所有命令写完就还原出了当时的数据库状态

三、AOF重写---对AOF文件的压缩

  • Redis服务器创建一个新的AOF文件，该文件不包含任何浪费空间的冗余命令，然后用它来替换之前的AOF文件
  • 底层实现
    • 不去扫描旧的AOF文件，直接扫描现在的数据库里有哪些数据，每一个数据通过一条SET或者SADD或者HSET或者HSET或者LPUSH命令写入到AOF文件即可，但是如果是list，set或者hash太大了，超过了默认的64，则可以通过多条SADD/HSET/LPUSH操作，每一条命令写64个实现
  • 后台重写AOF
    BGREWIRITEAOF
    • AOF重写过程比较漫长，长时间阻塞服务器进程对性能降低很大，所以引入AOF重写缓冲区，实现AOF子进程后台重写，服务器进程还可以执行其他请求
    • 具体过程
      • 当AOF重写子进程开始执行，服务器可以接受新的请求，且将这期间所有的写操作写入到aof缓冲区和aof重写缓冲区中
      • AOF文件重写完成，子进程向服务器发送信号处理函数，信号处理函数阻塞服务器进程，然后将aof重写缓冲区里的数据追加到新的AOF文件里，然后原子的将新AOF文件更名覆盖旧的AOF文件
      • 信号处理函数执行完毕，服务器进程被唤醒，接受新的请求

总结

Ustinian565
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis-x64-5.0.14.1
03-01
- **持久化**：通过RDB（快照）和AOF（追加日志）两种方式来确保数据在服务器重启后不会丢失。 - **数据结构**：支持字符串、哈希、列表、集合、有序集合等多种数据结构。 - **事务**：提供原子性操作，确保一组...
redis-windows-7.2.4.zip
01-14
Redis，全称Remote Dictionary Server，是一款开源的、高性能的键值对存储系统，它支持数据的持久化，可以作为数据库、缓存和消息中间件使用。Redis以其高速度和丰富的数据结构而闻名，广泛应用于互联网服务，如计数...
Redis——持久化之AOF
★★光亭★★
07-24 6854
Redis——持久化之AOF
Redis AOF文件
weixin_37990128的博客
10-24 1149
【Redis AOF文件】 1、关于AOF AOF 持久化记录服务器执行的所有写操作命令，并在服务器启动时，通过重新执行这些命令来还原数据集。 AOF 文件中的命令全部以 Redis 协议的格式来保存，新命令会被追加到文件的末尾。 Redis 还可以在后台对 AOF 文件进行重写（rewrite），使得 AOF 文件的体积不会超出保存数据集状态所需的实际大小。 Redis 还可以同时使用 AOF 持久化和 RDB 持久化。 在这种情况下， 当 Redis 重启时， 它会优先使用 AOF 文件来还...
Redis持久化AOF与RDB全面解析（大厂面试必问，看完之后offer直接到手，你学废了吗？）
2401_84003554的博客
04-30 1108
Redis配置文件中开启，AOF持久化方案进行备份时，客户端所有请求的写命令都会被追加到AOF缓冲区中，缓冲区中的数据会根据Redis配置文件中配置的同步策略来同步到磁盘上的AOF文件中，同时当AOF的文件达到重写策略配置的阈值时，Redis会对AOF日志文件进行重写，给AOF日志文件瘦身。Redis服务重启的时候，通过加载AOF日志文件来恢复数据。这个月马上就又要过去了，还在找工作的小伙伴要做好准备了，小编整理了大厂java程序员面试涉及到的绝大部分面试题及答案，希望能帮助到大家。
redis中的aof.c文件
a13731942290的博客
01-16 381
这篇文章详细解释了redis中的aof是如何使用的
redis --- AOF(Append Only File)
qq_46093575的博客
04-05 703
aof文件重写并不是对原文件进行重新整理，而是直接读取服务器现有的键值对，然后用一条命令去代替之前记录这个键值对的多条命令，生成一个新的文件后去替换原来的aof文件。redis7.0以后aof文件有三个：base基本文件，incr增量文件，manifest清单文件。3、使用异常修复命令：redis-check-aof --fix进行修复。1、将正常的AOF文件进行乱写，模拟网络闪断文件写error。2、重启redis服务进入AOF文件载入，服务启动失败。重启服务，查看aof文件是否正常。
Redis之AOF文件持久化
daide2012的博客
06-20 1835
Redis之AOF文件持久化一、AOF持久化介绍Redis除了使用RDB文件持久化数据库外，还提供了AOF持久化功能，与RDB持久化的区别如下：(1) RDB持久化通过保存数据库中键值对来记录数据库的状态，AOF持久化是通过记录服务器所执行的命令来保存数据库的状态的(2) AOF文件的更新频率要高于RDB文件，所以如果服务器开启了AOF文件持久化功能，那么服务器会优先使用AOF文件进行还原数据库的状
Redis持久化之AOF（详解）
酷小亚
10-10 3912
Redis持久化之AOF（详解） 一、初识AOF 二、AOF特点 1、优势 2、劣势 三、AOF操作 1、概述 2、正常恢复操作 3、异常恢复操作 四、总结
Redis-x64-5.0.14.msi和Redis-x64-5.0.14.zip
12-20
3. **数据持久化**：Redis支持多种持久化方式，包括RDB快照和AOF日志。RDB会在指定间隔时间生成数据快照，AOF则记录所有写操作，保证数据安全。根据需求选择合适的策略。 4. **内存管理**：Redis完全基于内存，因此...
redis-windows-7.2.5.zip
最新发布
05-20
- **持久化**：为了防止数据丢失，Redis支持RDB（快照）和AOF（Append Only File）两种持久化方式。 - **复制**：Redis支持主从复制，可以创建多个副本节点，提高数据可用性和读取性能。 - **事务**：Redis提供了...
Redis持久化 - RDB和AOF
08-17
“Redis持久化 - RDB和AOF” Redis持久化是指将数据库中的数据保存到永久存储设备中，以避免数据丢失。Redis提供了两种持久化方式：RDB（快照方式）和AOF（写日志方式）。 RDB（Redis Database）是一种快照方式的...
Redis持久化AOF详解
Hi，我是sharkchili，CSDN Java领域博客专家，开源项目JavaGuide维护人员，我想写一些有意思的东西，希望对你有帮助。
12-13 3283
AOF用于将Redis服务器收到的写操作追加到日志文件，通过该机制可以保证服务器重启后依然可以依靠日志文件恢复数据。收到客户端的写入命令(例如SET、DEL等)之后，它会将命令写入AOF缓冲区。redis服务器会定期或者在特定条件下，将AOF缓冲区的数据以追加的方式写到日志文件末尾，这种写入的操作可以是同步的，也可以是异步的，具体看我们配置的刷盘机制。
【进阶篇】2.11 Redis 持久化 AOF详解
日拱一卒无有尽，功不唐捐终入海
07-03 2415
Redis 支持多种持久化方式来保证数据的可靠性和持久性。其中AOF（Append Only File）机制是一种常用的持久化方式，它记录了所有对 Redis 数据库进行修改的命令，在 Redis 重启时可以使用这些命令来重构数据库状态。本文将详细介绍 Redis AOF 持久化机制的实现原理。
Redis的RDB与AOF详解
真是个老六
05-09 1713
AOF与RDB两个持久化方式都是redis的核心掌握内容
Redis持久化之AOF解读
一个菜鸡的博客
08-28 539
以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录)， 只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作AOF持久性记录服务器收到的每个写入操作。然后可以在服务器启动时再次重播这些操作，重建原始数据集。命令的记录格式与 Redis 协议本身相同。
Redis的持久化-AOF
陌上花开，可缓缓归矣
06-30 2128
Redis的AOF持久化策略是将发送到Redis服务端的每一条命令都记录下来，并且保存到硬盘中的AOF文件中，类似打日志文件，来一条命令就记录一条。 AOF设置AOF文件的位置和RDB文件的位置相同，都是通过dir参数设置，默认的文件名是appendonly.aof，可以通过appendfilename参数来修改。 AOF测试当客户端向服务器发送一些redis命令时，Redis会将所执行的命令记录到
Redis——Redis.conf详解+Redis持久化（RDB和AOF）+Redis订阅发布（狂神版）
测试
08-16 517
持久化分两个，rdb和aof。redis中的订阅发布完全可以用消息队列代替
【Redis(2)】Redis的持久化方式RDB和AOF配置
JCoder的博客
04-18 1178
Redis结合使用RDB和AOF持久化可以提供数据的快速恢复和高完整性。然而，"高性能"是相对的，并且取决于具体的使用场景和系统资源。在实际部署中，应该根据工作负载、数据重要性、硬件能力以及对数据丢失的容忍度来调整配置。
redis持久化----AOF重写
06-07
Redis的AOF持久化方式中，随着时间的推移，AOF文件会越来越大，而且还可能存在一些无用的命令。为了解决这个问题，Redis提供了AOF重写机制。 AOF重写机制会生成一个新的AOF文件，这个文件只包含当前Redis服务器中的...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值