Redis(13) -- Redis持久化-AOF

最新推荐文章于 2024-08-26 15:27:49 发布
最新推荐文章于 2024-08-26 15:27:49 发布
阅读量178 收藏
点赞数
分类专栏： Redis 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/jianghao233/article/details/124263176
版权

Redis6

10.3）AOF（Append Only File）

10.3.1）AOF简介

以日志的形式来记录每个写操作（增量保存），将Redis执行过的所有写指令记录下来(读操作不记录)， 只许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis 重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。

10.3.2）AOF持久化流程

  • 客户端的请求写命令会被append追加到AOF缓冲区内；

  • AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中；

  • AOF文件大小超过重写策略或手动重写时，会对AOF文件rewrite重写，压缩AOF文件容量；

  • Redis服务重启时，会重新load加载AOF文件中的写操作达到数据恢复的目的；

10.3.3）AOF默认不开启

可以在redis.conf中配置文件名称，默认为 appendonly.aof，AOF文件的保存路径，同RDB的路径一致。

# AOF and RDB persistence can be enabled at the same time without problems.
# If the AOF is enabled on startup Redis will load the AOF, that is the file
# with the better durability guarantees.
#
# Please check https://redis.io/topics/persistence for more information.
# 默认为no，修改为yes
appendonly yes
​
# The name of the append only file (default: "appendonly.aof")
​
appendfilename "appendonly.aof"

修改配置文件后重启，目录中已存在 appendonly.aof

[root@VM-20-6-centos bin]# redis-server /root/redis/redis-6.2.6/redis.conf
[root@VM-20-6-centos bin]# ll
total 19964
-rw-r--r-- 1 root root       0 Apr 18 23:35 appendonly.aof
-rw-r--r-- 1 root root      92 Apr 16 21:10 backup.db
-rwxr-xr-x 1 root root 1001112 Aug  5  2020 busybox-x86_64
-rw-r--r-- 1 root root     115 Apr 18 22:42 dump.rdb
-rwxr-xr-x 1 root root   63344 Apr 16 21:18 pnscan
-rwxr-xr-x 1 root root 4829496 Apr 15 23:21 redis-benchmark
lrwxrwxrwx 1 root root      12 Apr 15 23:21 redis-check-aof -> redis-server
lrwxrwxrwx 1 root root      12 Apr 15 23:21 redis-check-rdb -> redis-server
-rwxr-xr-x 1 root root 5003784 Apr 15 23:21 redis-cli
lrwxrwxrwx 1 root root      12 Apr 15 23:21 redis-sentinel -> redis-server
-rwxr-xr-x 1 root root 9524048 Apr 15 23:21 redis-server

10.3.4）AOF和RDB同时开启，redis听谁的？

AOF和RDB同时开启，系统默认取AOF的数据（数据不会存在丢失）

[root@VM-20-6-centos bin]# redis-cli -p 11079
127.0.0.1:11079> keys *
(empty array)

之前的RDB还存在，但从Redis中已经读取不到数据了

10.3.5）AOF启动/修复/恢复

AOF的备份机制和性能虽然和RDB不同, 但是备份和恢复的操作同RDB一样，都是拷贝备份文件，需要恢复时再拷贝到Redis工作目录下，启动系统即加载。

正常恢复：

  • 修改默认的appendonly no，改为yes

  • 将有数据的aof文件复制一份保存到对应目录(查看目录：config get dir)

  • 恢复：重启redis然后重新加载

异常恢复：

  • 修改默认的appendonly no，改为yes

  • 如遇到AOF文件损坏，通过/usr/local/bin/redis-check-aof--fix appendonly.aof进行恢复

  • 备份被写坏的AOF文件

  • 恢复：重启redis，然后重新加载

    # 插入数据
127.0.0.1:11079> keys *
(empty array)
127.0.0.1:11079> set k1 v1 
OK
127.0.0.1:11079> set k2 v2
OK
127.0.0.1:11079> set k3 v3
OK
127.0.0.1:11079> set k4 v4
​
# 拷贝文件appendonly-bak.aof
-rw-r--r-- 1 root root     139 Apr 18 23:43 appendonly.aof
-rw-r--r-- 1 root root      92 Apr 16 21:10 backup.db
-rwxr-xr-x 1 root root 1001112 Aug  5  2020 busybox-x86_64
-rw-r--r-- 1 root root     118 Apr 18 23:43 dump.rdb
-rwxr-xr-x 1 root root   63344 Apr 16 21:18 pnscan
-rwxr-xr-x 1 root root 4829496 Apr 15 23:21 redis-benchmark
lrwxrwxrwx 1 root root      12 Apr 15 23:21 redis-check-aof -> redis-server
lrwxrwxrwx 1 root root      12 Apr 15 23:21 redis-check-rdb -> redis-server
-rwxr-xr-x 1 root root 5003784 Apr 15 23:21 redis-cli
lrwxrwxrwx 1 root root      12 Apr 15 23:21 redis-sentinel -> redis-server
-rwxr-xr-x 1 root root 9524048 Apr 15 23:21 redis-server
[root@VM-20-6-centos bin]# cp appendonly.aof appendonly-bak.aof 
​
# 停止Redis服务
[root@VM-20-6-centos bin]# ps -ef | grep redis
root      6483     1  0 23:35 ?        00:00:00 redis-server *:11079
root      9075  1833  0 22:26 pts/2    00:00:00 redis-cli -p 11079
root     12113 18250  0 23:45 pts/3    00:00:00 grep --color=auto redis
root     12161  8645  0 22:27 pts/0    00:00:00 vim redis.conf
root     18852 14699  0 23:38 pts/5    00:00:00 redis-cli -p 11079
[root@VM-20-6-centos bin]# kill -9 6483
​
# 删除旧的文件
[root@VM-20-6-centos bin]# rm -rf appendonly.aof 
# 将拷贝的文件改名
[root@VM-20-6-centos bin]# mv appendonly-bak.aof appendonly.aof 
# 启动Redis服务
[root@VM-20-6-centos bin]# redis-server /root/redis/redis-6.2.6/redis.conf
​
​
# 连接客户端，查看Redis存储的值
127.0.0.1:11079> keys *
Error: Server closed the connection
127.0.0.1:11079> keys *
1) "k1"
2) "k2"
3) "k3"
4) "k4"

10.3.6）AOF同步频率设置

appendfsync always：始终同步，每次Redis的写入都会立刻记入日志；性能较差但数据完整性比较好；

appendfsync everysec：每秒同步，每秒记入日志一次，如果宕机，本秒的数据可能丢失；

appendfsync no：redis不主动进行同步，把同步时机交给操作系统

10.3.7）Rewrite压缩

10.3.7.1）是什么

AOF采用文件追加方式，文件会越来越大为避免出现此种情况，新增了重写机制, 当AOF文件的大小超过所设定的阈值时，Redis就会启动AOF文件的内容压缩， 只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof

10.3.7.2）重写原理，如何实现重写

AOF文件持续增长而过大时，会fork出一条新进程来将文件重写(也是先写临时文件最后再rename)，redis4.0版本后的重写，是指上就是把rdb 的快照，以二级制的形式附在新的aof头部，作为已有的历史数据，替换掉原来的流水账操作。

no-appendfsync-on-rewrite：如果 no-appendfsync-on-rewrite=yes ,不写入aof文件只写入缓存，用户请求不会阻塞，但是在这段时间如果宕机会丢失这段时间的缓存数据。（降低数据安全性，提高性能）

如果 no-appendfsync-on-rewrite=no, 还是会把数据往磁盘里刷，但是遇到重写操作，可能会发生阻塞。（数据安全，但是性能降低）

触发机制，何时重写

Redis会记录上次重写时的AOF大小，默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发，重写虽然可以节约大量磁盘空间，减少恢复时间。但是每次重写还是有一定的负担的，因此设定Redis要满足一定条件才会进行重写。

auto-aof-rewrite-percentage：设置重写的基准值，文件达到100%时开始重写（文件是原来重写后文件的2倍时触发）

auto-aof-rewrite-min-size：设置重写的基准值，最小文件64MB。达到这个值开始重写。

例如：文件达到70MB开始重写，降到50MB，下次什么时候开始重写？100MB

系统载入时或者上次重写完毕时，Redis会记录此时AOF大小，设为base_size,

如果Redis的AOF当前大小>= base_size +base_size*100% (默认)且当前大小>=64mb(默认)的情况下，Redis会对AOF进行重写。

10.3.7.3）重写流程

  1. bgrewriteaof触发重写，判断是否当前有bgsave或bgrewriteaof在运行，如果有，则等待该命令结束后再继续执行；

  2. 主进程fork出子进程执行重写操作，保证主进程不会阻塞；

  3. 子进程遍历redis内存中数据到临时文件，客户端的写请求同时写入aof_buf缓冲区和aof_rewrite_buf重写缓冲区保证原AOF文件完整以及新AOF文件生成期间的新的数据修改动作不会丢失；

  4. 子进程写完新的AOF文件后，向主进程发信号，父进程更新统计信息；主进程把aof_rewrite_buf中的数据写入到新的AOF文件；

  5. 使用新的AOF文件覆盖旧的AOF文件，完成AOF重写。

  6. 流程图如下图：

 10.3.8）AOF的优势和劣势

优势：

  • 备份机制更稳健，丢失数据概率更低；

  • 可读的日志文本，通过操作AOF稳健，可以处理误操作

劣势：

  • 比起RDB占用更多的磁盘空间

  • 恢复备份速度要慢

  • 每次读写都同步的话，有一定的性能压力

  • 存在个别Bug，造成恢复不能

10.3.9）AOF总结

 10.4）Redis持久化如何选择

官方推荐两个都启用；

如果对数据不敏感，可以选单独用RDB；

不建议单独用 AOF，因为可能会出现Bug；

如果只是做纯内存缓存，可以都不用

10.4.1）官网建议

 RDB持久化方式能够在指定的时间间隔能对你的数据进行快照存储

 AOF持久化方式记录每次对服务器写的操作,当服务器重启的时候会重新执行这些命令来恢复原始的数据,AOF命令以redis协议追加保存每次写的操作到文件末尾

 Redis还能对AOF文件进行后台重写,使得AOF文件的体积不至于过大

 只做缓存：如果你只希望你的数据在服务器运行的时候存在,你也可以不使用任何持久化方式

 同时开启两种持久化方式

 在这种情况下,当redis重启的时候会优先载入AOF文件来恢复原始的数据, 因为在通常情况下AOF文件保存的数据集要比RDB文件保存的数据集要完整

 RDB的数据不实时，同时使用两者时服务器重启也只会找AOF文件。那要不要只使用AOF呢？

 建议不要，因为RDB更适合用于备份数据库(AOF在不断变化不好备份)， 快速重启，而且不会有AOF可能潜在的bug，留着作为一个万一的手段。

 性能建议

因为RDB文件只用作后备用途，建议只在Slave上持久化RDB文件，而且只要15分钟备份一次就够了，只保留save 900 1这条规则。
​
如果使用AOF，好处是在最恶劣情况下也只会丢失不超过两秒数据，启动脚本较简单只load自己的AOF文件就可以了。
代价,一是带来了持续的IO，二是AOF rewrite的最后将rewrite过程中产生的新数据写到新文件造成的阻塞几乎是不可避免的。
只要硬盘许可，应该尽量减少AOF rewrite的频率，AOF重写的基础大小默认值64M太小了，可以设到5G以上。
默认超过原大小100%大小时重写可以改到适当的数值。
姜皓
关注
专栏目录
Redis持久化之AOF
weixin_42175563的博客
05-09 262
以日志的形式来记录每个写操作，将redis执行过的写指令记录下来（注意：读操作不可以记录），只允许追加文件但不可以改写文件，redis启动之初会读取该文件重新构建数据。保存的是appendonly.aof文件 aof机制默认是关闭的，可以通过配置redis的配置文件appendonly = yes，来开启aof机制，通过appendfilename = myaoffile.aof指定aof文件名称。 在redis的配置文件中存在三种不同AOF持久化方式，他们分别是： appendfsync alw
Redis-x64-5.0.14.msi和Redis-x64-5.0.14.zip
12-20
3. **数据持久化**：Redis支持多种持久化方式，包括RDB快照和AOF日志。RDB会在指定间隔时间生成数据快照，AOF则记录所有写操作，保证数据安全。根据需求选择合适的策略。 4. **内存管理**：Redis完全基于内存，因此...
Redis AOF 持久化学习笔记
Leo的博客
07-17 1万+
文章 Redis 快照持久化学习笔记 介绍 Redis 快照持久化的功能，除了快照持久化外，Redis 还提供了 AOF（Append Only File）持久化功能。与快照持久化通过直接保存 Redis 的键值对数据不同，AOF 持久化是通过保存 Redis 执行的写命令来记录 Redis 的内存数据。AOF 持久化的原理理论上说，只要我们保存了所有可能修改 Redis 内存数据的命令（也就是写命
Redis的AOF功能
木小鱼的笔记
05-22 4万+
引言： Redis是基于内存的数据库，同时也提供了若干持久化的方案，允许用户把内存中的数据，写入本地文件系统，以备下次重启或者当机之后继续使用。本文将描述如何基于Redis来设置AOF功能
Redis - 9、持久化之AOF（Append OnlyFile）
热门推荐
简单记录一下。
06-21 5万+
以日志的形式来记录每个写操作（增量保存），将redis执行过的所有写指令记录下来（读操作不记录），只允追加文件但不可改写文件，redis启动之初会读取该文件重新构造数据，换言之，redis重启的话就根据日志文件的内容将写指令从前到后执行一次以完成数据的恢复工作。...
redis-windows-7.2.5.zip
05-20
- **持久化**：为了防止数据丢失，Redis支持RDB（快照）和AOF（Append Only File）两种持久化方式。 - **复制**：Redis支持主从复制，可以创建多个副本节点，提高数据可用性和读取性能。 - **事务**：Redis提供了...
redis-windows-7.2.4.zip
01-14
Redis，全称Remote Dictionary Server，是一款开源的、高性能的键值对存储系统，它支持数据的持久化，可以作为数据库、缓存和消息中间件使用。Redis以其高速度和丰富的数据结构而闻名，广泛应用于互联网服务，如计数...
redis校验工具redis-full-check
05-27
4. **持久化检查**：验证 RDB 或 AOF 持久化文件的完整性，确保数据在系统崩溃后可以正确恢复。 5. **性能监控**：收集 Redis 实例的性能指标，如命令执行速度、网络 I/O 等，以便识别性能瓶颈。 6. **配置对比**...
redis-windows-7.0.10.zip
04-14
Redis提供了AOF（Append Only File）和RDB（Snapshot）两种持久化方式。AOF记录所有写操作，确保数据安全；RDB则是定期保存当前数据库状态，以快照形式存储，适用于灾难恢复。用户可以根据业务需求和性能考虑选择...
Redis 持久化——AOF 详解
白开水的博客
08-10 2万+
Redis 是一个键值对数据库服务器，服务器中通常包含着任意个非空数据库，而每个非空数据库中有可以包含任意个键值对，为了方便起见，我们将服务器中的非空数据库以及它们的键值对统称数据库状态。 Redis 是内存数据库，它将自己的数据库状态储存在内存里，如果不想办法将储存在内存中的数据库状态保存到磁盘里，那么一旦服务器进程退出，服务器中的数据库状态也会消失不见。为了解这个问题，Redis 提供了两种持久化方式——RDB(Redis DataBase) 和 AOF(Append Only File)，.....
redis默认读取appendonly.aof文件
mhbsoft的博客
12-15 1589
dump.rdb 与 appendonly.aof 同时存在的情况下，默认优先读取appendonly.aof文件。如果appendonly.aof有错误，则启动会失败。 vim appendonly.aof *2 $6 SELECT $1 ... v3 dfsdfsdfsdfsdfsd;;;;;;;;sdfsdf;;;;;;;sd;f;;; // 乱加的 启动失败： [mhbtest@root redis-5.0.4]$ src/redis-server redis_aof.conf 19838:
Redis持久化AOF
.
08-05 210
什么是 AOF？ AOF 是 Append Only File 的意思，它是指 Redis 在持久化数据到硬盘的时候是以日志的形式来记录每个写操作，并保存到磁盘的一个文件中，这个文件的名字默认叫 appendonly.aof。 如何设置 Redis 以 AOF 的形式持久化？ 修改 redis.conf 中的 appendonly 的值为 yes。 这样在 redis 启动的时候，...
redis持久化之aof
weixin_43907175的博客
11-21 539
redis持久化之AOF：append only file 将我们所有的命令记录下来，hisory，回复的时候就把这个文件全部执行一遍。 下面看下流程图 以日志的形式来记录每个写操作，将redis执行过的所有指令记录下来（读操作不记录），只许追加文件，但不可以改写文件，redis启动之初会读取该文件重新构建数据，换言之，redis重启的话就根据日志文件的内容将邪指令从前到后执行一次以完成数据的恢复工作。 AOF保存的文件 appendonly yes 默认是不开启的，我们需要手动将其改为yes。而后就开
redis持久化之AOF
weixin_41239385的博客
04-28 140
redis持久化之AOF 之前其实介绍过redis另一种持久化方式rdb了，这里我讲述一下我所了解的AOF方式 原理：aof是通过日志的形式，将所有的写操作记录下来。注意只记录写操作，不会去记录读操作。重启之后，会读取文件重新构建数据。他的构建过程，是根据日志将所有的指令全部执行一次完成数据恢复。默认保存的文件是appendonly.aof文件 AOF也是在配置文件里面开启（可以搜索appendo...
Redis持久化中的AOF(Append Only File)持久化
xzy的博客
03-16 8047
文章目录Redis持久化中的AOF(Append Only File)持久化开启aof持久化aof持久化的时候appendonly.aof持久化文件是什么时候生成的？appendonly.aof文件中的数据是什么时候怎样恢复到redis数据库中的？怎样把appendonly.aof持久化文件里面的数据恢复到redis数据库中？使用redis-check-aof工具校验appendonly.aof持久化文件中的内容aof持久化的时候缓存中的内容同步到硬盘的三种方式在什么情况下redis数据库中写的命令可以追加
【Redis】持久化——AOF机制
最新发布
zxj20041003的博客
08-26 978
AOF（Append Only File）持久化：以独⽴⽇志的⽅式记录每次写命令，重启时再重新执⾏ AOF⽂件中的命令达到恢复数据的⽬的。AOF 的主要作⽤是解决了数据持久化的实时性，⽬前已经是Redis 持久化的主流⽅式。理解掌握好 AOF 持久化机制对我们兼顾数据安全性和性能⾮常有帮助。
AOF持久化
小麦大大博客
08-30 2万+
RDB持久化是将进程数据写入文件，而AOF持久化(即Append Only File持久化)，则是将Redis执行的每次写命令记录到单独的日志文件中（有点像MySQL的binlog）；当Redis重启时再次执行AOF文件中的命令来恢复数据。 与RDB相比，AOF的实时性更好，因此已成为主流的持久化方案。 1. 开启AOF Redis服务器默认开启RDB，关闭AOF；要开启AOF，需要在配...
aof持久化
多看多听多总结
02-02 1152
1、redis协议 +：表示简单字符串 -：表示错误 :：表示整数 $：表示批量字符串 *：表示数组 请求是由批量字符串组成的数组组成
redis持久化----AOF重写
06-07
Redis的AOF持久化方式中，随着时间的推移，AOF文件会越来越大，而且还可能存在一些无用的命令。为了解决这个问题，Redis提供了AOF重写机制。 AOF重写机制会生成一个新的AOF文件，这个文件只包含当前Redis服务器中的...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值