Redis进阶学习之持久化RDB和AOF

Redis基础与使用SpringBoot整合Redis
Redis进阶学习之数据持久化
Redis进阶学习之主从复制、读写分离
Redis进阶学习之哨兵模式和分片集群
Redis主从复制集群搭建
Redis哨兵集群搭建
Redis分片集群搭建
Redis使用RedisTemplate配置和访问集群
Redis缓存策略
Redis缓存异常场景分类

1. 单点Redis存在的问题

redis的基础可以查看博客：Redis基础与使用SpringBoot整合Redis

2.Redis数据持久化

Redis持久化提供了两种方式：RDB（Redis Database Backup file）、AOF（Append Only File）

2.1. RDB

RDB全称Redis Database Backup file（Redis数据备份文件），也被叫做Redis数据快照。就是把内存中的所有数据都记录到磁盘中。当Redis实例故障重启后，从磁盘读取快照文件，恢复数据。快照文件称为RDB文件，默认是保存在当前运行目录。

2.1.1. RDB执行条件

RDB持久化在四种情况下会执行：执行save命令、执行bgsave命令、Redis停机时、 触发RDB条件时
1）save命令
执行save命令，可以立即执行一次RDB；save命令会导致主进程执行RDB，这个过程中其它所有命令都会被阻塞。只有在数据迁移时可能用到。
2）bgsave命令
执行save命令可以异步执行一次RDB；这个命令执行后会开启独立进程完成RDB，主进程可以持续处理用户请求，不受影响。
3）停机时
Redis停机时会执行一次save命令，实现RDB持久化。（默认）
4）触发RDB条件
Redis内部有触发RDB的机制，可以在redis.conf文件中进行配置：

#900秒内，如果至少有1个key被修改，则执行bgsave
save 900 1  
 #300秒内，如果至少有10个key被修改，则执行bgsave
save 300 10 

### redis.conf中其它参数配置
# 是否压缩 ,建议不开启，磁盘不值钱，压缩会消耗cpu
rdbcompression yes
# RDB文件名称
dbfilename dump.rdb  
# 文件保存的路径目录
dir ./ 
# 表示禁用RDB
save "" 

2.1.2. bgsave的基本流程

1. bgsave开始时会fork主进程得到子进程，子进程共享主进程的内存数据。
2. 完成fork后读取内存数据并写入 RDB 文件。
3. 用新RDB文件替换旧的RDB文件

fork采用的是copy-on-write技术：
当主进程执行读操作时，访问共享内存；
当主进程执行写操作时，则会拷贝一份数据，执行写操作。
（避免在RDB操作的时候，主进程进行数据的写入，造成子线程的数据脏读，主进程进行写操作需要拷贝一份副本出来，在副本进行数据修改；redis通过分配的进程页表，拿到物理地址，之后访问内存物理地址拿到真实数据。存放在物理内存中主线程和子线程的共享内存是只读状态）

2.1.3. RDB的缺点

• RDB执行间隔时间长，两次RDB之间写入数据有丢失的风险
• fork子进程、压缩、写出RDB文件都比较耗时

2.2. AOF

AOF全称为Append Only File（追加文件）。Redis处理的每一个写命令都会记录在AOF文件，可以看做是命令日志文件。（RDB生成的数据文件，AOF生成的是指令文件）

2.2.1. AOF的配置

AOF默认是关闭的，需要修改redis.conf配置文件来开启AOF：
# 是否开启AOF功能，默认是no
appendonly yes
# AOF文件的名称
appendfilename "appendonly.aof"

2.2.2. AOF三种刷新磁盘的方式

# 表示每执行一次写命令，立即记录到AOF文件（同步刷盘，可靠性高，几乎不丢数据，性能影响大）
appendfsync always 
# 写命令执行完先放入AOF缓冲区，然后表示每隔1秒将缓冲区数据写到AOF文件（默认方案，每秒刷盘，性能适中，可靠性差，可能丢失大量数据）
appendfsync everysec 
# 写命令执行完先放入AOF缓冲区，由操作系统决定何时将缓冲区内容写回磁盘（操作系统控制，性能最好，可靠性较差，可能丢失大量数据）
appendfsync no

2.2.3. AOF文件重写

（1）手动执行bgrewriteaof
AOF记录的是命令，所以AOF文件会比RDB文件大的多。而且AOF会记录对同一个key的多次写操作，但只有最后一次写操作才有意义。通过执行bgrewriteaof命令，可以让AOF文件执行重写功能，用最少的命令达到相同效果。AOF文件重写针对同一个key的操作只会去最新一条的记录。

（1）触发阈值执行AOF文件重写
Redis也会在触发阈值时自动去重写AOF文件。阈值也可以在redis.conf中配置：

# AOF文件比上次文件 增长超过多少百分比则触发重写
auto-aof-rewrite-percentage 100
# AOF文件体积最小多大以上才触发重写 
auto-aof-rewrite-min-size 64mb 

2.3. 持久化方式对比

持久化	RDB	AOF
持久化方式	定时对整个内存做快照	记录每一次执行的命令
数据完整性	不完整，两次备份之间会丢失	相对完整，取决于刷盘策略
文件大小	会有压缩，文件体积小	记录命令，文件体积很大
宕机恢复速度	很快	慢
数据恢复优先级	低，因为数据完整性不如AOF	高，因为数据完整性更高
系统资源占用	高，大量CPU和内存消耗	低，主要是磁盘IO资源但AOF重写时会占用大量CPU和内存资源
使用场景	可以容忍数分钟的数据丢失，追求更快的启动速度	对数据安全性要求较高常见