Redis持久化

RDB方式:根据指定的规则“定时”将内存中的数据存储在硬盘上

AOF方式:每次执行命令后将命令本身记录下来


RDB方式

当符合一定条件时redis会自动将内存中的所有数据生成一份副本并存储在硬盘上,这个过程称之为"快照"(snapshotting)

redis会在如下几种情况对数据进行快照

1.根据配置规则进行自动快照

2.用户执行SAVE或BGSAVE命令

3.执行FLUSHALL命令

4.执行复制(replication)


根据配置规则进行自动快照

redis允许用户自定义快照条件,当符号快照条件时,redis会自动执行快照操作。

进行快照的条件可以由用户在配置文件中定义,有两个参数构成:时间窗口M和改动的键的个数N。每当时间M内被改动的键的个数大于N时,即符合自动快照条件。

例如redis安装目录中包含的样例配置文件中预置的三个条件:

save 900 1

save 300 10

save 60 10000

每个快照条件占一行,并且以save参数开头。同时可以存在多个条件,条件之间是"或"的关系。


用户执行SAVE或BGSAVE命令

除了让redis自动进行快照外,当进行服务重启、手动迁移以及备份时我们也会需要手动执行快照操作。redis提供了两个命令来完成这个任务。

save命令

当执行save命令时,redis同步地进行快照操作,在快照执行的过程中会阻塞所有来自客户端的请求。当数据库中的数据比较多时,这一过程会导致redis较长时间不响应,所以要尽量避免在生产环境使用这个命令。

bgsave命令

需要手动执行快照时推荐使用bgsave命令。bgsave异步异步命令可以在后台异步的进行快照操作,快照的同时服务器还可以继续响应来自客户端的请求。执行bgsave后redis会立即返回OK表示开始执行快照操作,如果想知道快照是否完成,可以通过lastsave命令获取最近一次成功执行快照的时间,返回结果是一个Unix时间戳。


执行FLUSHALL命令

当执行flushall命令时,redis会清除数据库中的所有数据。不论清空数据库的过程是否触发了自动快照条件,只要自动快照条件不为空,redis就会执行一次快照操作。


执行复制(replication)

当设置了主从模式时,redis会在复制初始化时进行自动快照。


快照原理

默认会将快照文件存储在redis当前进程的工作目录中的dump.rdb文件中,可以通过配置dir和dbfilename两个参数分别指定快照文件的存储路径和文件名。

快照过程如下:

1.redis使用fork函数复制一份当前进程(父进程)的副本(子进程);

2.父进程继续接受并处理客户端发来的命令,而子进程开始将内存中的数据写入硬盘中的临时文件。

3.当子进程写入完所有的数据后会用该临时文件替换旧的RDB文件,至此一次快照操作完成。


在执行fork的时候操作系统会使用写时复制(copy-on-write)策略,即fork函数发生的那一刻父子进程共享同一内存数据,当父进程要更改其中某片数据时(如执行一个写命令),操作系统会将该片数据复制一份以保证子进程数据不受影响,所以新的RDB文件存储的是执行fork一刻的内存数据。


写时复制策略也保证了在fork的时刻虽然看上去生成了两个内存副本,但实际

上内存的占用量并不会增加一倍。为此需要确保Linux系统允许应用程序申请超过可用内存(物理内存和交换分区)的空间,方法是在/etc/sysctl.conf文件中加入vm.overcommit_memory=1,然后重启系统确保设置生效。


当进行快照的过程中,如果写入操作较多,造成fork前后数据差异较大,是会使得内存使用量显著超过实际数据大小的,因为内存中不仅保存了当前的数据库数据,而且还保存了fork时刻的内存数据。


redis在进行快照的过程时不会修改RDB文件,只有快照结束后才会将旧的文件替换成新的,也就是说任何时候RDB文件都是完整的。这使得我们可以通过定时备份RDB文件来实现redis数据库备份。RDB文件是经过压缩的二进制格式,redis启动后会读取RDB快照文件,将数据从硬盘载入到内存。一旦redis异常退出,就会丢失最后一次快照以后更改的所有数据。


AOF方式(Append Only File)

当使用redis存储非临时数据时,一般都需要打开AOF持久化来降低进程中导致的数据丢失。aof可以将redis执行的每一条命令追加到硬盘文件中,这一过程会降低redis的性能。


开启AOF

redis默认情况下没有开启AOF方式的持久化,可以通过appendonly参数启用:

appendonly yes

开启AOF持久化后每执行一条会更改redis 中的数据的命令,redis就会将该命令写入到硬盘中的AOF文件。AOF文件的保存位置和RDB文件的位置相同,都是通过dir参数设置的,默认的文件名是appendonly.aof,可以通过appendfilename参数修改:appendfilename  appendonly.aof


AOF的实现

AOF文件以纯文本的形式记录了redis执行的写命令。

AOF文件的内容正是redis客户端向redis 发送的原始通信协议的内容。每当达到一定条件时redis就会自动重写AOF文件,这个条件可以在配置文件中设置:

auto-aof-rewrite-percentage 100

auto-aof-rewrite-min-size      64mb

auto-aof-rewrite-percentage 当目前超过的AOF文件上一次重写时的AOF文件大小的百分之多少时会再次进行重写。auto-aof-rewrite-min-size 限制了允许重写的最小AOF文件大小。

BGREWRITEAOF命令手动执行AOF重写。


同步硬盘数据

虽然每次执行更改数据库内容的操作时,AOF都会将命令记录在AOF文件中,但由于操作系统的缓存机制,数据并没有真正的写入硬盘,而是进入了系统的硬盘缓存。默认情况下系统每30秒会执行一次同步操作,以便将硬盘缓存中的内容真正的写入硬盘。

redis在写入AOF文件后主动要求系统将缓存内容同步到硬盘中

#appendfsync always    ​每次执行写入 都会执行同步

appendfsync everysec 每秒执行一次同步操作

#appendfsync no  不主动进行同步操作,完全交由操作系统来做(即每30秒一次​)


  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值