【redis】主从数据同步

1.数据同步 

redis在2.8及以上版本使用psync命令完成主从数据同步，同步过程分为全量复制
和部分复制。

全量复制: 
一般用于初次复制场景，redis早期支持的复制功能只有全量复制，他会把主节点 
全部数据一次性发送给从节点，当数据量较大时，会对主从节点和网络造成很大的
开销。

部分复制:
用于处理在主从复制中因网络闪断等原因造成的数据丢失场景，当从节点再次连接 
上主节点后，如果条件允许，主节点会补发丢失数据给从节点。因为补发的数据远远
小于全量数据，可以有效避免全量复制的过高开销。

部分复制是对老版本复制的重大优化，有效避免了不必要的全量复制操作。
因此当采用复制功能时，进来采用2.8以上版本的redis; 

2.复制偏移量

参与复制的主从节点都会维护自身复制偏移量。主节点在处理完写入命令后，
会把命令的字节长度做累计记录，统计信息在info replication 中的 
master_repl_offset 中。

--主节点。
192.168.1.7:6379> info replication
# Replication
role:master
connected_slaves:1
slave0:ip=192.168.1.7,port=6380,state=online,offset=5895,lag=0
master_replid:f9e5f6404b89a627e3fcc4cbd2abf0bff4872779
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:5895
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:5770
repl_backlog_histlen:126
--从节点。
192.168.1.7:6380> info replication
# Replication
role:slave
master_host:192.168.1.7
master_port:6379
master_link_status:up
master_last_io_seconds_ago:0
master_sync_in_progress:0
slave_repl_offset:5937
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:f9e5f6404b89a627e3fcc4cbd2abf0bff4872779
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:5937
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:1048576
repl_backlog_first_byte_offset:5770
repl_backlog_histlen:168

从节点每秒钟上报自身的复制偏移量给主节点，因此主节点也会保存从节点的
复制偏移量。

从节点在接收到主节点发送的命令后，也会累加记录自身的偏移量。统计信息 
保存在replication中的 slave_repl_offset 中。  
通过对比主从复制的偏移量，可以判断主从节点数据是否一致。

3.复制积压缓冲区 

复制积压缓冲区是保存在主节点上一个固定长度的队列，默认大小为1M,当主节点 
有连接的从节点时被创建，这时主节点响应写命令时，不但会把命令发送给从节点，
还会写入复制积压缓冲区。

由于缓冲区本质上是先进先出的定长队列，所以能实现保存最近已复制数据的功能，
用于部分复制和复制命令丢失数据的补救，复制缓冲区相同统计信息保存在主节点
的info replication 中的如下信息中:


repl_backlog_active:1  --开启复制缓冲区 
repl_backlog_size:1048576 --缓冲区最大长度
repl_backlog_first_byte_offset:5770 --起始偏移量，计算当前缓冲区可用范围
repl_backlog_histlen:224 --已保存数据的有效长度。

根据统计指标，可算出复制积压缓冲区内的可用偏移量范围:
[repl_backlog_first_byte_offset,repl_backlog_first_byte_offset+repl_backlog_histlen]

4.主节点运行ID; 

每个redis节点启动后都会动态分配一个40位的十六禁止字符串作为运行ID.
运行ID的主要作用是用来唯一识别redis节点，比如从节点保存主节点的运行ID识别
自己正在复制的是哪个主节点。如果只使用ip+port的方式识别主节点，那么主节点 
重启变更了整体数据集(如替换 RDB/AOF文件)。从节点再基于偏移量复制数据将是
不安全的，因为当运行ID变化后从节点将做全量复制。 

192.168.1.7:6379> info server
# Server
redis_version:4.0.11
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:20c6c2386ae62b92
redis_mode:standalone
os:Linux 3.10.0-1160.el7.x86_64 x86_64
arch_bits:64
multiplexing_api:epoll
atomicvar_api:atomic-builtin
gcc_version:4.8.5
process_id:2672
run_id:3c75b32df022588afc217cf1ef49329ffbc8d5a9   --ID;
tcp_port:6379
uptime_in_seconds:199701
uptime_in_days:2
hz:10
lru_clock:7852793
executable:/data/redis-server
config_file:/data/redis6379/redis6379.conf

需要注意的是，redis关闭再启动后，运行ID会随之改变。

当需要调优一些内存相关配置，例如 hash-max-ziplist-value等，这些配置需要
redis重新加载才能优化已存在的数据，这时可以使用 debug reload 命令重新加载 
RDB并保存运行ID不变，从而有效避免不必要的全量复制。

--正常重启后，RUN_ID 变化了，之前是:3c75b32df022588afc217cf1ef49329ffbc8d5a9,
--现在是:4239700aed3329db1d2f585787ef84cf103c27df
192.168.1.7:6379> info server
# Server
redis_version:4.0.11
redis_git_sha1:00000000
redis_git_dirty:0
redis_build_id:20c6c2386ae62b92
redis_mode:standalone
os:Linux 3.10.0-1160.el7.x86_64 x86_64
arch_bits:64
multiplexing_api:epoll
atomicvar_api:atomic-builtin
gcc_version:4.8.5
process_id:35666
run_id:4239700aed3329db1d2f585787ef84cf103c27df

--重启主库后，从库重新做了一次全同步。


--使用debug reload 命令重新加载RDB并保持运行ID不变。
[root@oracle1 redis6380]# redis-cli -h 192.168.1.7 -p 6379 debug reload 
OK
[root@oracle1 redis6380]# redis-cli -h 192.168.1.7 -p 6379 info server |grep run_id 
run_id:4239700aed3329db1d2f585787ef84cf103c27df


注意:
debug reload 命令会阻塞当前redis节点主线程，阻塞期间会生成本地RDB快照并清空
数据之后再加载RDB文件。因此对于大数据量的主节点和无法容忍阻塞的应用场景， 
谨慎使用。

5.psync命令

从节点使用psync命令完成部分复制和全量复制功能，命令格式:psync {runid}{offset}

psync 4239700aed3329db1d2f585787ef84cf103c27df 966

runid:从节点所复制的主节点的运行ID; 
offset:当前从节点已复制的数据偏移量。

psync命令运行流程。
从节点发送psync命令给主节点，参数runid是当前从节点保存的主节点的主要运行ID,
如果没有则默认值为?;参数offset是当前从节点保存的复制偏移量，如果是第一次参与
复制则默认值为-1; 
主节点根据psync参数和自身数据情况决定响应结果。
(1)如果回复 +FULLRESYNC {runid}{offset},那么从节点将触发全量复制流程。
(2)如果回复 +CONTINUE,从节点将触发部分复制流程。
如果回复+ERR,说明主节点版本低于redis2.8,无法识别psync命令，从节点将触发 
旧版本的sync命令触发全量复制流程。

psync 4239700aed3329db1d2f585787ef84cf103c27df 1079