Redis学记笔记 —— (12)持久化(AOF)
AOF(append only file) 持久化:以独立日志的方式每次写命令,重启时再重新执行AOF文件中的命令,达到恢复数据的目的。AOF的主要作用是解决了数据持久化的实时性。
AOF的主要工作流程分为:命令写入(append)、文件同步(sync)、文件重写(rewrite)、重启加载(load)。
- 所有的写入命令会追加到aof_buf(缓冲区)中。
- AOF缓冲区根据对应的策略向硬盘做同步操作
- 随着AOF文件变大,需要定期对AOF文件进行重写,达到压缩的目的
- 当Redis服务器重启时,可以家在AOF文件进行数据恢复。
重写机制
随着命令的不断增加,文建会越来越大,重写为什么可以使得AOF文件变小?
- 进程中已经超时的数据不会再写入文件
- 旧的AOF文件含有吴晓明了,例如del key1 、set name gzy等,重新使用进程内数据直接生成,这样AOF文件只保留最终数据的写入命令。
- 多条写命令可以合并为一个,例如lpush list a, lpush list b 可以转换为lpush a b
AOF重写降低了文件占用空间,同时还可以更快的被Redis加载。
AOF重写过程可以分为手动触发和自动触发。
- 手动触发
直接调用bgrewriteaof命令。
- 自动触发
根据auto-aof-rewrite-min-size和auto-aof-rewirite-percentage参数确定自动触发时机
auto-aof-rewrite-min-size表示AOF重写时问年间最小体积,默认为64MB。
auto-aof-rewirite-percentage表示当前AOF文件空间和上次重写后AOF文件空间的比值。
常见的持久化问题定位和优化
Redis持久化会影响Redis的性能。
- Fork操作
当Redis做RDB和AOF重写时,一个必不可少的操作就是执行fork操作创建子进程,对于大多数操作系统来说fork是一个重量级错误,虽然它不需要拷贝父进程的物理内存空间,但是会复制父进程的空间内存页表。
改善方法:
- 有限使用物理机或高校支持fork操作的虚拟化技术
- 控制Redis实例最大可用内存,fork小号和内存量成正比
- 合理配置Linux内存分配册率避免物理内存不足导致fork失败
- 降低fork操作的频率
- CPU / 内存/硬盘等方便的优化