持久化是指将瞬时数据(比如内存中的数据,不能长久保存)持久化为持久数据(比如保存到硬盘的数据库中,能够长久保存)。Redis的持久化方式主要有两种:RDB(Redis DataBase)与AOF(Append Only File)。
1. RDB
RDB(Redis DataBase)在指定的时间间隔内将内存中的数据集快照写入磁盘,即需要恢复数据时,将snapshot快照中的数据文件读到内存中。
1.1 备份是如何执行的
Redis会单独创建( fork)一个子进程来进行持久化,会先将数据写入到一个临时文件中,待持久化过程都结束了,再用这个临时文件替换上次持久化好的文件。整个过程中,主进程是不进行任何IO操作的,这就确保了极高的性能如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。
1.2 如何触发RDB快照
RDB默认是开启的,其快照保存在dump.rdb中,可以通过save,bgsave命令来保存快照。
save :save时只管保存,其它不管,可能会导致队列阻塞。不建议。
bgsave:Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。
可以通过lastsave 命令获取最后一次成功执行快照的时间。
-
save :save时只管保存,其它不管,可能会导致队列阻塞,不建议。save命令的格式-> save 秒钟 写操作次数,默认是1分钟内改了1万次,或5分钟内改了10次,或15分钟内改了1次。
-
bgsave:Redis会在后台异步进行快照操作, 快照同时还可以响应客户端请求。
1.3 RDB的备份
将*.rdb的文件拷贝到别的地方,rdb的恢复:
-
关闭Redis。
-
先把备份的文件拷贝到redis工作目录下。
-
启动Redis, 备份数据会直接加载。
1.4 RDB的优势与缺点
RDB的优势:
-
适合大规模的数据恢复。
-
对数据完整性和一致性要求不高更适合使用。
-
节省磁盘空间。
-
恢复速度快。
RDB的缺陷:
-
Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑。
-
虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。
-
在备份周期在一定间隔时间做一次备份,所以如果Redis意外down掉的话,就会丢失最后一次快照后的所有修改。因为save会在规定时间内写操作达到一定次数后再进行备份,如果最后的写操作未达到规定的次数并且服务器down掉,则最后的写操作则无法进行备份,修改就会丢失。
2. AOF
AOF(Append Only File)以日志的形式来记录每个写操作(增量保存),将Redis执行的所有写指令记录下来(读操作不记录),只许追加文件但不可以改写文件,Redis重启之初会读取这些文件重新构建数据,换言之,Redis重启的话就根据日志文件的内容将写命令从前往后执行,以完成数据的恢复工作。
AOF默认不开启,可在redis.conf中开启。当AOF与RDB同时开启时,系统默认读取AOF中的数据(数据不会存在丢失)。
如遇到AOF文件损坏,通过redis-check-aof--fix appendonly.aof进行恢复。
2.1 AOF持久化流程
-
客户端的请求写命令会被append到AOF缓冲区内。
-
AOF缓冲区根据AOF持久化策略[always,everysec,no]将操作sync同步到磁盘的AOF文件中。
-
AOF文件大小超过重写策略或手动重写时,会对AOF文件rewrite重写,压缩AOF文件容量。
-
Redis服务重启时,会重新load加载AOF文件中的写操作达到数据恢复的目的。
2.2 AOF同步频率设置
-
appendfsync always:始终同步,每次Redis的写入都会立刻写入日志,性能较差但是数据完整性较好。
-
appendfsync everysec:每秒同步,每秒写入日志一次,如果宕机,这一秒的写入数据将会丢失。
-
appendfsync no:redis不主动进行同步,把同步时机交给操作系统。
2.3 Rewrite压缩
AOF采用文件追加方式,文件会越来越大,为了避免出现此种情况,新增了重写rewrite机制,当AOF文件的大小超过所设定的阈值时,Redis就会启动AOF文件的内容压缩, 只保留可以恢复数据的最小指令集。可以使用命令bgrewriteaof。
Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发。
重写虽然可以节约大量磁盘空间,减少恢复时间。但是每次重写还是有一定的负担的,因此设定Redis要满足一定条件才会进行重写。
auto-aof-rewrite-percentage:设置重写的基准值,文件达到100%时开始重写(文件是原来重写后文件的2倍时触发)。
auto-aof-rewrite-min-size:设置重写的基准值,最小文件64MB。达到这个值开始重写。
2.4 AOF的优势与缺点
AOF的优势:
-
备份机制更加稳健,丢失数据概率更低。
-
可读的日志文件,可以处理误操作。
AOF的缺点:
-
比起RDB占用更多空间。
-
恢复备份速度慢。
-
每次读写都同步的话,有一定的性能压力。
-
存在个别bug,造成不能恢复。
3. RDB与AOF使用选择
-
如果对数据不敏感,可以选单独用RDB。
-
不建议单独用 AOF,因为可能会出现Bug。
-
如果只是做纯内存缓存,可以都不用。
如果同时使用就是使用RDB与AOF,就是用AOF进行恢复,使用RDB做容灾备份,可以直接将RDB文件重命名为AOF文件以实现恢复。