windows下redis启动:redis-server.exe redis.windows.conf
linux下启动:./redis-server redis.conf
RDB(Redis DataBase)
在指定的时间间隔内将内存中的数据集快照到数据库,也就是Snapshot快照,他恢复时是将快照文件直接读到内存中去。
配置
在redis.conf中配置文件名称,默认为dump.rdb
rdb文件的保存路径,也可以修改。默认为Redis启动时命令行所在的目录下
如何进行备份。
Redis会单独创建(fork)一个子进程来进行持久化,会先将数据写入到一个临时的文件中,待持久化结束,再用这个文件替换上次持久化好的文件。整个过程主进程是不进行任何的IO操作的,这就确保的极高的性能,如果需要进行大规模数据的恢复,且对于数据恢复的完整性不是非常敏感,那RDB方式要比AOF方式更加的高效。RDB的缺点是最后一次持久化后的数据可能丢失。
Fork
Fork的作用是复制一个与当前进程一样的进程。新进程的所有数据(变量、环境变量、程序计数器等) 数值都和原进程一致,但是是一个全新的进程,并作为原进程的子进程
在Linux程序中,fork()会产生一个和父进程完全相同的子进程,但子进程在此后多会exec系统调用,出于效率考虑,Linux中引入了“写时复制技术”,
一般情况父进程和子进程会共用同一段物理内存,只有进程空间的各段的内容要发生变化时,才会将父进程的内容复制一份给子进程。
优势
- 适合大规模的数据恢复
- 对数据完整性和一致性要求不高更适合使用
- 节省磁盘空间
- 恢复速度快
劣势
- 在一定间隔时间做一次备份,所以如果redis意外down掉的话,就会丢失最后一次快照后的所有修改
- Fork的时候,内存中的数据被克隆了一份,大致2倍的膨胀性需要考虑
- 虽然Redis在fork时使用了写时拷贝技术,但是如果数据庞大时还是比较消耗性能。
- 在备份周期在一定间隔时间做一次备份,所以如果Redis意外down掉的话,就会丢失最后一次快照后的所有修改。
AOF(Append Only File)
以日志的形式来记录每个写操作(增量保存),将Redis执行过的所有写执行记录下来(读操作不记录)。只许追加文件单不可以改写文件,Redis启动之初会读取该文件重新构建数据,也就是或Redis重启会他就会根据日志文件把日志里面的指令从头到尾的执行一遍,来完成数据的回复工作。
配置
AOF默认不开启,需要手动在配置文件中配置
可以在redis.conf中配置文件名称,默认为 appendonly.aof
AOF文件的保存路径,同RDB的路径一致。
AOF默认不开启
- 可以在redis.conf中配置文件名称,默认为 appendonly.aof
- AOF文件的保存路径,同RDB的路径一致。
AOF同步频率设置
- appendfsync always
始终同步,每次Redis的写入都会立刻记入日志;性能较差但数据完整性比较好
- appendfsync everysec
每秒同步,每秒记入日志一次,如果宕机,本秒的数据可能丢失。
- appendfsync no
redis不主动进行同步,把同步时机交给操作系统。
AOF和RDB同时开启,redis听谁的?
- AOF和RDB同时开启,系统默认取AOF的数据(数据不会存在丢失)
- 如何验证:将数据flushall,然后停止redis,将rdb文件恢复,查看数据是不是之前备份的rdb文件中的数据。如果是,说明RDB起作用,否则,AOF起作用。
优势
- 备份机制更稳健,丢失数据概率更低。
- 可读的日志文本,通过操作AOF稳健,可以处理误操作。
劣势
- 比起RDB占用更多的磁盘空间。
- 恢复备份速度要慢。
- 每次读写都同步的话,有一定的性能压力。
- 存在个别Bug,造成恢复不能。
Rewrite
是什么:
- AOF采用文件追加方式,文件会越来越大为避免出现此种情况,新增了重写机制, 当AOF文件的大小超过所设定的阈值(yuzhi)时,Redis就会启动AOF文件的内容压缩, 只保留可以恢复数据的最小指令集.可以使用命令bgrewriteaof
重写原理,如何实现重写
- AOF文件持续增长而过大时,会fork出一条新进程来将文件重写(也是先写临时文件最后再rename), 遍历新进程的内存中数据,每条记录有一条的Set语句。重写aof文件的操作,并没有读取旧的aof文件, 而是将整个内存中的数据库内容用命令的方式重写了一个新的aof文件,这点和快照有点类似。
No-appendfsync-on-rewrite:
- 重写时是否可以运用Appendfsync,用默认no即可,保证数据安全性。
- 例如:将复杂多个步骤操作的结果,采用简单一个步骤进行操作,减少aop文件大小。
触发机制,何时重写
- Redis会记录上次重写时的AOF大小,默认配置是当AOF文件大小是上次rewrite后大小的一倍且文件大于64M时触发
- 重写虽然可以节约大量磁盘空间,减少恢复时间。但是每次重写还是有一定的负担的,因此设定Redis要满足一定条件才会进行重写。
- Auto-aof-rewrite-percentage:设置重写的基准值,文件达到100%时开始重写(文件是原来重写后文件的2倍时触发)
- Auto-aof-rewrite-min-size:设置重写的基准值,最小文件64MB。达到这个值开始重写。
例如:文件达到70MB开始重写,降到50MB,下次什么时候开始重写?100MB