简介
背景
Redis是一种内存数据库,在断电时数据可能会丢失。比如你redis整个挂了,然后redis不可用了,如果没有持久化的话,redis就会丢失所有的数据,如果通过持久化将数据搞一份儿到磁盘上去,然后再定期同步到一些云存储服务上去,那么就可以保证一些数据不丢失,保证数据的可靠性。
持久化方式
Redis中为了保证在系统宕机(类似进程被杀死)情况下,能更快的进行故障恢复,设计了两种数据持久化方案,分别为rdb和aof方式。
Rdb方式持久化
概述
Rdb方式是通过手动(save-阻塞式,bgsave-异步)或周期性方式保存redis中key/value的一种机制,Rdb方式一般为redis的默认数据持久化方式.系统启动时会自动开启这种方式的持久化机制。
RDB方式配置
RDB方式的持久化是默认开启的,也可按规则自己配置,例如,打开redis.conf文件,例如
# 这里表示每隔60s,如果有超过1000个key发生了变更,那么就生成一个新的dump.rdb文件,就是当前redis内存中完整的数据快照,这个操作也被称之为snapshotting(快照)。
save 60 1000
# 持久化 rdb文件遇到问题时,主进程是否接受写入,yes 表示停止写入,如果是no 表示redis继续提供服务。
stop-writes-on-bgsave-error yes
# 在进行快照镜像时,是否进行压缩。yes:压缩,但是需要一些cpu的消耗。no:不压缩,需要更多的磁盘空间。
rdbcompression yes
# 一个CRC64的校验就被放在了文件末尾,当存储或者加载rbd文件的时候会有一个10%左右的性能下降,为了达到性能的最大化,你可以关掉这个配置项。
rdbchecksum yes
# 快照的文件名
dbfilename dump.rdb
# 存放快照的目录
dir /var/lib/redis
Rdb方式持久化实践
退出时备份
shutdown
自动备份
save 900 1 #900s内存了1个数据 就备份
save 300 10 #300s内存了10个数据 就备份
save 60 10000 #60s内存了10000个数据 就备份
手动备份
save
面试小结
redis中的save和bgsave指令由什么区别
Redis save执行一个同步保存操作,当前redis实例的所有数据快照(snapshot)以RDB文件的形式保存到硬盘
BGSAVE命令执行之后立即返回ok,Redis fork产生一个新的子进程,原来的Redis进程继续处理请求,二紫禁城负责存储数据,退出
RDB持久化机制有哪些优点
第一:RDB会生成很多数据文件,每页数据文件都代表某一时刻Redis中的数。这种多个数据文件的方式,非常适合做冷备,将完整的数据源文件发送到远端云服务上去,定期备份redis的数据
第二:RDB对于redis影响很小,可以让redis保持高性能。因为redis主进程只需要fork一个子进程,让子进程执行磁盘io操作来进行RDB持久化即可
第三:相对于AOF持久化机制来说,基于RDB数据文件恢复重启redis进程,更加的迅速
有哪些缺点
RDB并不是立即保存数据,而是隔一段时间做一次快照,而在期间出现了reids宕机,那么会丢失数据
Aof方式数据持久化
概述
Aof方式是通过记录写操作日志的方式,记录redis数据的一种持久化机制,这个机制默认是关闭的。
修改redis.conf
# 是否开启AOF,默认关闭
appendonly yes
# 指定 AOF 文件名
appendfilename appendonly.aof
# Redis支持三种刷写模式:
# appendfsync always #每次收到写命令就立即强制写入磁盘,类似MySQL的sync_binlog=1,是最安全的。但该模式下速度也是最慢的,一般不推荐使用。
appendfsync everysec #每秒钟强制写入磁盘一次,在性能和持久化方面做平衡,推荐该方式。
# appendfsync no #完全依赖OS的写入,一般为30秒左右一次,性能最好但是持久化最没有保证,不推荐。
#在日志重写时,不进行命令追加操作,而只是将其放在缓冲区里,避免与命令的追加造成DISK IO上的冲突。
#设置为yes表示rewrite期间对新写操作不fsync,暂时存在内存中,等rewrite完成后再写入,默认为no,建议yes
no-appendfsync-on-rewrite yes
#当前AOF文件大小是上次日志重写得到AOF文件大小的二倍时,自动启动新的日志重写过程。
auto-aof-rewrite-percentage 100
#当前AOF文件启动新的日志重写过程的最小值,避免刚刚启动Reids时由于文件尺寸较小导致频繁的重写。
auto-aof-rewrite-min-size 64mb
小节面试分析
如何理解AOF方式中的rewrite操作?
redis中的数据也是有限的,很多数据都可能会自动过期,可能会被用户删除了。可能被redis用缓存清楚的算法清理掉。也就是所redis中的数据会不断淘汰掉旧的。只有一部分常用的数据会自动保存在redis之中,所以可能之前很多被清理掉的数据,对应的日志还停留在AOF中,到了AOF中,覆盖之前的老日志;确保AOF日志的文件不会过大,和redis内存数据量一致。
AOF持久化机制有哪些优点
第一:可以保护数据不丢失,一般AOF会每隔1秒,通过一个后台线程执行一次fsync操作,最多丢失1s以前的数据
第二:AOF日志文件以append-only模式写入,所以没有任何磁盘寻址的开销,性能极高,不易破损,而且就算破损了,也很容易修复
第三:AOF日志文件即使过大的时候,出现后台重写操作,也不会影响客户端的读写。因为在rewrite log的时候会对其中的内容进行压缩,创建出一份需要恢复数据的最小日志出来。在创建新日志文件的时候,老日志还是照常写入。当新的merge后的日志文件ready的时候,在交换新老日志即可
第四:AOF日志文件的命令可以通过易读的方法进行记录,这个特性非常适合坐在灾难性的误删除的紧急恢复,比如不小心清空了所有数据,只要这个时候后台rewrite还没有发生,就可以拷贝AOF文件,把最后一条flushall命令删除,再放回去,就可以通过恢复机制,自动恢复所有数据
AOF持久化机制有哪些缺点?
第一 对于同一份数据来说,AOF日志文件通常比RDB文件更大
第二 开启AOF后,支持写的QPS会比RDB支持写的QPS低,因为AOF一般会配置每秒fsync一次日志文件,当然每秒一次fsync,性能还是很高的
第三 AOF这种基于命令日志方式,比基于RDB每次持久化一份完整的数据快照文件的方式,更加脆弱一些,容易有bug,不过为了避免rewrite过程导致的bug,每次rewrite并不是基于旧的指令日志进行merge的,而是基于当时内存的数据指令的重新构建,这样健壮性会好很多。
如何选择redis的持久化方法
APF,RDB一起使用,AOF保证数据不丢失,作为数据恢复的第一选择,RDB做不同的冷备