目录
在讲解Redis持久化之前,我们已经对redis的api、编码结构、编码时间复杂度、对象回收策略、内存回收策略系统的分析一遍,由于Redis将数据全部保存在内存中,当机器断电或者宕机内存数据会有丢失风险,所以有必要将Redis数据持久化到内存中
Redis持久化现状
Redis 支持两种持久化技术,第一种是快照持久化技术RDB,第二种是 事务日志持久化技术AOF。Redis默认是开启RDB备份的,AOF默认关闭的。
Redis RDB简介
Redis Rdb默认配置
################################ SNAPSHOTTING ################################
#
# Save the DB on disk:
# 表示停用Rdb缓存 此场景适合做字典缓存类型的缓存 对数据丢失不敏感
# save ""
#表示900 秒内如果至少有 1 个 key 的值变化,则保存
save 900 1
#表示300 秒内如果至少有 10 个 key 的值变化,则保存
save 300 10
#表示60 秒内如果至少有 10000 个 key 的值变化,则保存
save 60 10000
# By default Redis will stop accepting writes if RDB snapshots are enabled
# (at least one save point) and the latest background save failed.
# This will make the user aware (in a hard way) that data is not persisting
save 意义是指在 xxx秒内至少存在yyy次修改 触发bgsave命令,如果redis集群只为字典类服务可以设置 save "" 这样就停用了Rdb备份功能
- stop-writes-on-bgsave-error :默认值为yes。当启用了RDB且最后一次后台保存数据失败,Redis是否停止接收数据。这会让用户意识到数据没有正确持久化到磁盘上,否则没有人会注意到灾难(disaster)发生了。如果Redis重启了,那么又可以重新开始接收数据了
- rdbcompression ;默认值是yes。对于存储到磁盘中的快照,可以设置是否进行压缩存储。如果是的话,redis会采用LZF算法进行压缩。如果你不想消耗CPU来进行压缩的话,可以设置为关闭此功能,但是存储在磁盘上的快照会比较大。
- rdbchecksum :默认值是yes。在存储快照后,我们还可以让redis使用CRC64算法来进行数据校验,但是这样做会增加大约10%的性能消耗,如果希望获取到最大的性能提升,可以关闭此功能。
- dbfilename :设置快照的文件名,默认是 dump.rdb
- dir:设置快照文件的存放路径,这个配置项一定是个目录,而不能是文件名。默认是和当前配置文件保存在同一目录。
- 其他关于RDB配置可以参考 redis.config配置文章
Redis手动备份
Redis手动备份命令有2种 一种是save命令 另外一种是bgsave命令
- save
该命令会阻塞当前Redis服务器,执行save命令期间,Redis不能处理其他命令,直到RDB过程完成为止。
显然该命令对于内存比较大的实例会造成长时间阻塞,这是致命的缺陷,为了解决此问题,Redis提供了第二种方式
- bgsave
执行该命令时,Redis会在后台异步进行快照操作,快照同时还可以响应客户端请求。具体操作是Redis进程执行fork操作创建子进程,RDB持久化过程由子进程负责,完成后自动结束。阻塞只发生在fork阶段,fork阶段是对当前内存进行快照,此阶段一般在 微秒 时间阻塞,相对sava长时间阻塞业务可以接受。
基本上 Redis 内部所有的RDB操作都是采用 bgsave 命令,执行执行 flushall 命令,也会产生dump.rdb 空文件
Redis数据恢复
查找dump.rdb文件位置 命令:config get dir 然后将待恢复的dump.rdb文件移动到此目录 重启进程 进行数据恢复
Redis关闭RDB备份与恢复
关闭命令
- sava " " 然后注释掉redis.conf sava的默认配置
Redis rdb备份优劣
优势一 文件体积小 它保存某个时刻点的数据日志 有利于快速恢复
优势二 fork子进程进程备份 不会影响redis进程
劣势一 rdb备份需要触发一定的条件 会导致部分数据丢失 快照备份时候会占用和redis数据容量大小相同的内存 可能会触发内存溢出
劣势二 rdb有条件出发备份 会丢失数据
Redis 内存如何配置
Redis是高内存 低cup类型的中间件 Redis是不是内存越大越好呢?其实不是这样,redis内存越大,其fork需要的内存越大 rdb同步延迟的时间越久,节点数据同步对网络的压力越大,多大的内存占比是安全的呢?fork占用内存小于等于当前内存占比。总内存大小要综合考虑网络和磁盘吞吐量设计。
- maxmemory maxmemory/机器总内存=50%最安全
- 机器总内存 看期望的数据量 带宽 硬盘IO性能测试给出最优结果
Redis 快照为什么使用子进程
子进程拥有父进程所有资源的copy,在数据处理过程中出现异常也不会影响父进程,在Linux系统中很多备份比如dump就使用子进程。
参考文档