Redis持久化与主从同步

1 淘汰策略

127.0.0.1:6379> help expire

  EXPIRE key seconds
  summary: Set a key's time to live in seconds
  since: 1.0.0
  group: generic

127.0.0.1:6379> help PEXPIRE

  PEXPIRE key milliseconds
  summary: Set a key's time to live in milliseconds
  since: 2.6.0
  group: generic

expire是直接让key失效，而不能针对某个具体的元素，例如对hash的某个域设置过期

里面有一个lru

Redis.conf

通常maxmemory填真实内存的一半，以便持久化fork子进程时，有足够的内存

淘汰策略：

• volatile-lru：最近最久未使用的过期key
• allkeys-lru：对所有的key使用LRU策略淘汰
• volatile-lfu：最少使用的过期key进行淘汰
• allkeys-lfu
• volatile-random：随机淘汰过期key
• allkeys-random：随机淘汰
• noeviction：禁止淘汰，当达到最大maxmemory时，继续写入数据会报错

2 持久化

fork原理：
fork的时候，仅对页表进行了复制，父进程对数据修改时，触发写保护中断，从而进行物理内存的复制，父进程的页表指向新的物理内存，子进程的页表指向旧的物理内存（谁修改，谁指向新的），在发生写操作的时候，系统才会去复制物理内存，避免物理内存的复制时间过长导致父进程长时间阻塞

fork进程那一刻相当于给父进程的内存打了一个快照

2.1 aof

append only file

追加日志，是一个顺序磁盘io（与随机磁盘差不多）

aof有三个策略：

• always：对Redis有修改，就写到aof文件中
• every_sec：每1秒写一次aof文件，由bio_aof_fsync操作
• no：只写入到page cache，由操作系统自己刷到磁盘中

但假如对某个key操作多次，则aof都有相关记录

set test 1
set test 2
set test 3

但set test 1和set test 2是不需要的数据，即aof会存在冗余的问题，因此可以使用aof-rewrite

aof-rewrite：当aof文件过大，为了减少aof数据恢复速度过慢

• fork进程，根据内存数据生成aof文件，避免同一个key历史冗余数据
• 在重写aof期间，对redis的写操作回记录到重写缓冲区，当重写aof结束后，附加到aof文件末尾

优点：数据可靠，丢失较少；持久化过程代价较低
缺点：aof文件过大，数据恢复慢

注意：aof并不需要fork进程，aof-rewrite才需要fork进程

2.2 rdb

redis database

通过fork子进程进行持久化，基于内存中（所有数据）对象编码直接持久化

rdb只记录了fork那一刻的内存情况，但Redis仍然在提供服务，那部分的数据丢失了

优点：rdb文件小，数据恢复快
缺点：数据丢失较多，持久化过程代价较高

2.3 rdb-aof混用

通过fork子进程，根据内存数据生成rdb文件

在rdb持久化期间，对redis的写操作回记录到重写缓冲区，当rdb持久化结束后，附加到aof文件末尾

2.4 大key

kw中v如果占用大量空间就是大key，比如v是hash、zset，里面存储大量元素

大key对持久化的影响：

• fsync压力大
• fork时间长，fork的时候，写时复制造成持久化时间过长

3 Redis主从复制

主要用来实现 redis 数据的可靠性，防止主 redis 所在磁盘损坏，造成数据永久丢失

主从之间采用异步复制的方式

使用replicaof指定从数据库

3.1 全量数据同步

3.2 增量数据同步

replication buffer：记录发送RDB的时候的命令

repl_backlog_buffer：主库会记录自己写到的位置，从库则会记录自己已经读到的位置。

4 哨兵模式

上述的主从复制，仅保证了数据的安全性，但若主库挂掉了，从库无法提供服务。

因此，需要从从库中选择一个数据库，作为主数据库。

哨兵会在主数据库挂掉后，按照一定规则，选择一个从数据库作为主库，并通知其他从库和client。

5 Redis cluster集群

Redis cluster 将所有数据划分为 16384（2^14）个槽位，每个 redis 节点负责其中一部分槽位。

cluster 集群是一种去中心化的集群方式。

当 redis cluster 的客户端来连接集群时，会得到一份集群的槽位配置信息。这样当客户端要查找某个 key 时，可以直接定位到目标节点。

4.0 Clustering In Redis

参考资源：
《Redis核心技术与实战》
https://xxetb.xetslk.com/s/1QH6AQ