Redis持久化AOF与RDB全面解析(大厂面试必问,看完之后offer直接到手,你学废了吗?)

image.png

  • 配置RDB文件完整性校验

Redis 默认使用CRC64的算法,对RDB文件完整性进行校验,以此来保证RDB文件的完整

image.png

2.3.2 shutdown触发

shutdown触发Redis的RDB持久化机制非常简单,我们在客户端执行shutdown即可。

image.png

2.3.3 flushall触发

首先这里一定要特别注意,flushall是删库跑路,它是清空dump.rdb文件,千万千万不要看了博主的文章,跑到公司备份的时候顺手来个flushall,然后到时候来问候我……,这个flushall是为了清空Redis数据的同时清空dump.rdb文件,要不然重启Redis的时候,数据又会恢复到上一次备份的时候的数据,与flushall的执行指令含义就冲突了。

为了证明这个文件不会保留数据,我特地特地的写个脚本测试一下:

编写一个批量插入的脚本文件

vi batchKeyInsert.sh

#!/bin/bash

for((i=0;i<100000;i++))

do

echo -en “Hello Redis.” | redis-cli -h 192.168.211.108 -p 6379 -c -x set name$i >>redis.log

done

文件赋权

chmod +x batchKeyInsert.sh

image.png

./batchKeyInsert.sh

image.png

此时查看dump.rdb

image.png

执行flushall,后再次查看,rbd文件被清空

image.png

2.2 手动触发

手动触发RDB持久化的方式可以使用save命令和bgsave命令,这两个命令的区别如下。

save:执行save指令,阻塞Redis的其他操作,会导致Redis无法响应客户端请求,不建议使用。

bgsave:执行bgsave指令,Redis后台异步进行快照的保存操作,此时Redis仍然能响应客户端的请求。

2.3 RDB持久化文件的备份

在实际的生产环境中,我们一般不会使用主节点Master来进行持久化备份,我们会通过在Redis的多个从服务器上进行RDB持久化备份,这样是为了对Redis数据的多次备份,防止出现网络分区或者部分节点宕机甚至是硬件损坏的情况发生。

作为运维或者架构师,李子捌觉得应该要定时定期的通过脚本对Redis持久化文件进行转移备份,这样双重保险,更加可靠,万一遇到突发情况,也是多一手解决方案。

3、AOF


3.1 简介

Redis配置文件中开启,AOF持久化方案进行备份时,客户端所有请求的写命令都会被追加到AOF缓冲区中,缓冲区中的数据会根据Redis配置文件中配置的同步策略来同步到磁盘上的AOF文件中,同时当AOF的文件达到重写策略配置的阈值时,Redis会对AOF日志文件进行重写,给AOF日志文件瘦身。Redis服务重启的时候,通过加载AOF日志文件来恢复数据。

Redis-AOF持久化流程 (2).png

3.2 AOF配置

AOF默认不开启,默认为appendonly no,开启则需要修改为appendonly yes

image.png

AOF配置文件的名称默认为appendonly.aof

image.png

配置文件的地址可以通过在redis客户端执行config get dir获取,其保存路径与RDB一致

image.png

3.2.2 同步频率配置

AOF日志是以文件的形式存在的,当程序对AOF日志文件进行写操作时,实际上将内容写到了内核为文件描述符分配的一个内存缓冲区中,随后内核会异步的将缓冲区中的数据刷新到磁盘中。如果缓冲区中的数据没来得及刷回磁盘时,服务器宕机了,这些数据就会丢失。

因此Redis通过调用Linux操作系统的glibc提供的fsync(int fid)来将指定文件的内容强制从内核缓冲区刷回磁盘,以此来保证缓冲区中的数据不会丢失。不过这是一个IO操作,相比Redis的性能来说它是非常慢的,所以不能频繁的执行。

Redis配置文件中有三种刷新缓冲区的配置:

appendfsync always

每次Redis写操作,都写入AOF日志,这种配置理论上Linux操作系统扛不住,因为Redis的并发远远超过了Linux操作系统提供的最大刷新频率,就算Redis写操作比较少的情况,这种配置也是非常耗性能的,因为涉及到IO操作,所以这个配置基本上不会用

appendfsync everysec

每秒刷新一次缓冲区中的数据到AOF文件,这个Redis配置文件中默认的策略,兼容了性能和数据完整性的折中方案,这种配置,理论上丢失的数据在一秒钟左右

appendfsync no

Redis进程不会主动的去刷新缓冲区中的数据到AOF文件中,而是直接交给操作系统去判断,这种操作也是不推荐的,丢失数据的可能性非常大。

image.png

注意要刷新缓冲区的数据到磁盘需要将如下配置,配置为no,不是yes

no-appendfsync-on-rewrite no

3.3 AOF修复功能

AOF持久化机制正常恢复与RDB持久化机制的恢复是一样的,都只需要将备份文件放置到Redis的工作目录下,Redis启动时就会自动的加载。AOF持久化机制提供了AOF文件异常时恢复的功能,这个功能在AOF文件损坏的场景中经常被使用到。

测试,清空Redis服务中的数据

image.png

写入数据

image.png

AOF日志文件每秒会被刷新一次数据,此时数据已经写入了appendonly.aof文件

image.png

打开文件我们可以非常清除的阅读AOF的文件内容,看到Redis的指令序列

image.png

此时人为的进行数据破坏

image.png

再次启动发现无法启动(我配置的别名启动)

image.png

执行redis-check-aof --fix …/appendonly.aof 对AOF日志文件进行修复

image.png

修复过程中会有部分数据丢失

image.png

连接客户端查看数据

image.png

3.4 AOF重写

前面提到AOF的缺点时,说过AOF属于日志追加的形式来存储Redis的写指令,这会导致大量冗余的指令存储,从而使得AOF日志文件非常庞大,比如同一个key被写了10000次,最后却被删除了,这种情况不仅占内存,也会导致恢复的时候非常缓慢,因此Redis提供重写机制来解决这个问题。Redis的AOF持久化机制执行重写后,保存的只是恢复数据的最小指令集,我们如果想手动触发可以使用如下指令:

bgrewriteaof

Redis4.0后的重写使用的是RDB快照和AOF指令拼接的方式,在AOF文件的头部是RDB快照的二进制形式的数据,尾部是快照产生后发生的写入操作的指令。

由于重写AOF文件时,会对Redis的性能带来一定的影响,因此也不能随便的进行自动重写,Redis提供两个配置用于自动进行AOF重写的指标,只有这两个指标同时满足的时候才会发生重写:

image.png

auto-aof-rewrite-percentage 100:指的是当文件的内存达到原先内存的两倍

auto-aof-rewrite-min-size 64mb:指的是文件重写的最小内存大小

AOF重写流程如下:

  1. bgrewriteaof触发重写,判断是否存在bgsave或者bgrewriteaof正在执行,存在则等待其执行结束再执行

  2. 主进程fork子进程,防止主进程阻塞无法提供服务,类似RDB

  3. 子进程遍历Redis内存快照中数据写入临时AOF文件,同时会将新的写指令写入aof_buf和aof_rewrite_buf两个重写缓冲区,前者是为了写会旧的AOF文件,后者是为了后续刷新到临时AOF文件中,防止快照内存遍历时新的写入操作丢失

  4. 子进程结束临时AOF文件写入后,通知主进程

  5. 主进程会将上面3中的aof_rewirte_buf缓冲区中的数据写入到子进程生成的临时AOF文件中

  6. 主进程使用临时AOF文件替换旧AOF文件,完成整个重写过程

Redis-AOF日志重写流程图.png

4、混合持久化


Redis4.0后大部分的使用场景都不会单独使用RDB或者AOF来做持久化机制,而是兼顾二者的优势混合使用。其原因是RDB虽然快,但是会丢失比较多的数据,不能保证数据完整性;AOF虽然能尽可能保证数据完整性,但是性能确实是一个诟病,比如重放恢复数据。

其日志文件结构如下:

Redis-4.0 混合持久化.png

混合持久化通过aof-use-rdb-preamble yes开启,Redis 4.0以上版本默认开启

image.png

测试,我们先插入一些key,然后执行BGREWRITEAOF触发AOF持久化后,再插入一些key

image.png

此时将会看到如下的效果,验证了混合持久化的方式

image.png

5、总结


最后来总结这两者,到底用哪个更好呢?

  • 推荐是两者均开启

  • 如果对数据不敏感,可以选单独用RDB

  • 不建议单独用AOF,因为可能会出现Bug

  • 如果只是做纯内存缓存,可以都不用

Redis官网是这么介绍的:

image.png

看不懂就看下Redis中文网的介绍:

image.png

Redis官网关于持久化的介绍

总结

这个月马上就又要过去了,还在找工作的小伙伴要做好准备了,小编整理了大厂java程序员面试涉及到的绝大部分面试题及答案,希望能帮助到大家

在这里插入图片描述

在这里插入图片描述

image.png

看不懂就看下Redis中文网的介绍:

image.png

Redis官网关于持久化的介绍

总结

这个月马上就又要过去了,还在找工作的小伙伴要做好准备了,小编整理了大厂java程序员面试涉及到的绝大部分面试题及答案,希望能帮助到大家

[外链图片转存中…(img-iUe2pqxs-1714441205305)]

[外链图片转存中…(img-uDbV8rkU-1714441205305)]

本文已被CODING开源项目:【一线大厂Java面试题解析+核心总结学习笔记+最新讲解视频+实战项目源码】收录

  • 22
    点赞
  • 25
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值