redis 《二》--- 高可用与集群（reids主从）

一、redis 高可用与集群

虽然Redis可以实现单机的数据持久化，但无论是RDB也好或者AOF也好，都解决不了单点宕机问题，即一旦单台redis服务器本身出现系统故障、硬件故障等问题后，就会直接造成数据的丢失，因此需要使用另外的技术来解决单点问题。

1.1 配置reids主从

主备模式，可以实现Redis数据的跨主机备份。

程序端连接到高可用负载的VIP，然后连接到负载服务器设置的Redis后端real server，此模式不需要在程序里面配置Redis服务器的真实IP地址，当后期Redis服务器IP地址发生变更只需要更改redis 相应的后端real server即可，可避免更改程序中的IP地址设置。

1.1.1 Slave主要配置

Redis Slave 也要开启持久化并设置和master同样的连接密码，因为后期slave会有提升为master的可能,Slave端切换master同步后会丢失之前的所有数据

一旦某个Slave成为一个master的slave，Redis Slave服务会清空当前redis服务器上的所有数据并将master的数据导入到自己的内存，但是断开同步关系后不会删除当前已经同步过的数据

1.1.2 规划

ip	角色
10.10.100.130	master
10.10.100.131	slave

redis安装目录/apps/redis，安装配置见上一章，redis 《一》 —安装配置及持久化

1.1.3 命令行配置

当前状态为master，需要转换为slave角色并指向master服务器的IP+PORT+Password

[root@node1 ~]# redis-cli -h 10.10.100.131
10.10.100.131:6379> AUTH cwy
OK
#redis5.x版本前使用命令
10.10.100.131:6379> SLAVEOF 10.10.100.130 6379
OK
#redis5.x版本后使用命令
10.10.100.131:6379> REPLICAOF 192.168.7.103 6379 
OK
#设置master连接密码
10.10.100.131:6379> CONFIG SET masterauth cwy
OK
##查看slave状态
10.10.100.131:6379> INFO Replication
# Replication
role:slave
master_host:10.10.100.130
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0
slave_repl_offset:154
slave_priority:100
slave_read_only:1
connected_slaves:0
master_replid:1b2b6ce2d8baaefc3c5ddfd8edfbd55f2ec8dc9d
master_replid2:0000000000000000000000000000000000000000
master_repl_offset:154
second_repl_offset:-1
repl_backlog_active:1
repl_backlog_size:536870912
repl_backlog_first_byte_offset:1
repl_backlog_histlen:154

1.1.4 同步日志

1.1.4 保存配置到 redis.conf

vim redis.config 
#redis5.x版本前配置
slaveof 10.10.100.130 6379
masterauth cwy

#redis5.x版本后配置
REPLICAOF 10.10.100.130 6379
masterauth cwy

1.1.5 重启验证

1.1.6 验证slave数据

#master节点写入数据
10.10.100.130:6379> set key1 v1
10.10.100.130:6379> GET key1
"v1"

#slave节点验证查看
10.10.100.131:6379> GET key1
"v1"

#slave节点只读无法写入数据
10.10.100.131:6379> SET key2 v2
(error) READONLY You can't write against a read only slave.

1.1.7 Master日志

1.1.8 主从复制过程

Redis支持主从复制分为全量同步和增量同步，首次同步是全量同步，主从同步可以让从服务器从主服务器备份数据，而且从服务器还可与有从服务器，即另外一台redis服务器可以从一台从服务器进行数据同步，redis 的主从同步是非阻塞的，master收到从服务器的sync(2.8版本之前是PSYNC)命令会fork一个子进程在后台执行bgsave命令，并将新写入的数据写入到一个缓冲区里面，bgsave执行完成之后并生成的将RDB文件发送给客户端，客户端将收到后的RDB文件载入自己的内存，然后redis master再将缓冲区的内容在全部发送给redis slave，之后的同步slave服务器会发送一个offset的位置(等同于MySQL的binlog的位置)给主服务器，主服务器检查后位置没有错误将此位置之后的数据包括写在缓冲区的积压数据发送给redis从服务器，从服务器将主服务器发送的挤压数据写入内存，这样一次完整的数据同步，再之后再同步的时候从服务器只要发送当前的offset位 置给主服务器，然后主服务器根据相应的位置将之后的数据发送给从服务器保存到其内存即可。

Redis全量复制一般发生在Slave首次初始化阶段，这时Slave需要将Master上的所有数据都复制一份。具体主从同步骤如下：

1. 从服务器连接主服务器，发送SYNC命令；
2. 主服务器接收到SYNC命名后，开始执行BGSAVE命令生成RDB快照文件并使用缓冲区记录此后执行的所有写命令；
3. 主服务器BGSAVE执行完后，向所有从服务器发送快照文件，并在发送期间继续记录被执行的写命令；
4. 从服务器收到快照文件后丢弃所有旧数据，载入收到的快照；
5. 主服务器快照发送完毕后开始向从服务器发送缓冲区中的写命令；
6. 从服务器完成对快照的载入，开始接收命令请求，并执行来自主服务器缓冲区的写命令；
7. 后期同步会先发送自己slave_repl_offset位置，只同步新增加的数据，不再全量同步。

1.1.9 主从同步优化

Redis在2.8版本之前没有提供增量部分复制的功能，当网络闪断或者slave Redis重启之后会导致主从之间的全量同步，即从2.8版本开始增加了部分复制的功能。

repl-diskless-sync no # 是否使用无盘同步RDB文件，默认为no，no为不使用无盘，需要将RDB文件保存到磁盘后再发送给slave，yes为支持无盘，支持无盘就是RDB文件不需要保存至本地磁盘，而且直接通过socket文件发送给slave。

repl-diskless-sync-delay 5 #Master准备好RDB文件后等等待传输时间

repl-ping-slave-period 10 #slave端向server端发送ping的时间区间设置，默认为10秒

repl-timeout 60 #设置超时时间

repl-disable-tcp-nodelay no #是否启用TCP_NODELAY，如设置成yes，则redis会合并小的TCP包从而节省带宽，但会增加同步延迟（40ms），造成master与slave数据不一致，假如设置成no，则redis master会立即发送同步数据，没有延迟，前者关注性能，后者关注redis服务中的数据一致性。

repl-backlog-size 1mb #master的写入数据缓冲区，用于记录自上一次同步后到下一次同步过程中间的写入命令，计算公式：repl-backlog-size = 允许从节点最大中断时长 * 主实例offset每秒写入量，比如master每秒最大写入64mb，最大允许60秒，那么就要设置为64mb*60秒=3840MB(3.8G)

repl-backlog-ttl 3600 #如果一段时间后没有slave连接到master，则backlog size的内存将会被释放。如果值为0则表示永远不释放这部份内存。

slave-priority 100 #slave端的优先级设置，值是一个整数，数字越小表示优先级越高。当master故障时将会按照优先级来选择slave端进行恢复，如果值设置为0，则表示该slave永远不会被选择。

#min-slaves-to-write 1 #设置一个master端的可用slave少于多少个
#min-slaves-max-lag 20 #设置所有slave延迟时间都大于多少秒时，master不接收写操作(拒绝写入)。

1.1.10 slave切换master

Master的切换会导致master_replid发生变化，slave之前的master_replid就和当前master不一致从而会引发所有slave的全量同步。

#查看当前状态
10.10.100.131:6379> info Replication
# Replication
role:slave
master_host:10.10.100.130
master_port:6379
master_link_status:up
master_last_io_seconds_ago:3
master_sync_in_progress:0

#停止slave同步并查看当前状态
10.10.100.131:6379> info Replication
# Replication
role:master
connected_slaves:0
master_replid:44098831bf372689ac36a13860bb38567541a0d6
master_replid2:30fe89b4d2cf24c474b2bae583017683f5b5c45e
master_repl_offset:43235
second_repl_offset:43236
repl_backlog_active:1
repl_backlog_size:536870912
repl_backlog_first_byte_offset:113
repl_backlog_histlen:43123

#测试能否写入数据
10.10.100.131:6379> set key3 v3
OK