redis读书笔记十三 哨兵

1、哨兵机制概述

哨兵机制是redis官方的高可用方案，redis主从架构下，master挂掉的情况下，slave不能主动切换为master而是需要哨兵来完成切换过程。这个过程叫failover。

哨兵不止有主从切换的作用：

• Monitoring,监控redis实例的状态。
• Notification. 当监控的redis实例的状态异常时，可以通过API通知相关人员。
• Automatic failover. 主从切换。
• Configuration provider. 为连接自己的客户端提供最新的master地址。

2、使用哨兵需要注意的点

• 启动命令，无论使用哪个命令，都必须指定配置文件的路径，哨兵会把监控的redis实例的配置保存到这个文件中，用于重启后重新加载配置。

redis-sentinel /path/to/sentinel.conf
或
redis-server /path/to/sentinel.conf --sentinel

• 哨兵默认启动端口是26379，这个端口必须开放，这个端口是哨兵之间通信的端口。

• 至少需要部署3个哨兵，才能触发failover,因为触发failover的条件是至少有大部分的哨兵认为master已经失联。

• 客户端需要支持哨兵。

• 一个哨兵可以监控多个master。

3、哨兵初始配置文件sentinel.conf解析

 

port 5000
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 60000
sentinel failover-timeout mymaster 180000
sentinel parallel-syncs mymaster 1

sentinel monitor resque 192.168.1.3 6380 4
sentinel down-after-milliseconds resque 10000
sentinel failover-timeout resque 180000
sentinel parallel-syncs resque 5

sentinel monitor <master-group-name> <ip> <port> <quorum>

这条命令配置监控一个master, 其中quorum指的是至少需要quorum个哨兵认为master挂掉，才能认为master是挂掉的。这里quorum=2，假如有总共有5个哨兵，那么当有两个哨兵认为master挂掉的时候，会从这两个哨兵中选出一个哨兵，这个哨兵会确认是否至少有3个哨兵能够正常通信，如果有，才会真正开始failover。

sentinel down-after-milliseconds mymaster 60000

这条命令表示如果哨兵向master发出的ping命令 在60000ms后仍然没有收到回复，则认为这个master挂掉了。

sentinel parallel-syncs mymaster 1

当切换新的master后，哨兵会为其他的slaver配置新的master的ip和端口。这些slaver会同步新的master的数据集，这条命令表示一次只能有1个slaver同步数据集，这个值越小，则完成failover的时间会越久,但是一次只同步一个能减少停机时间，因为slaver在加载从master同步的数据集文件的时候，如果文件过大，可能会暂停服务。

4、查看哨兵监控的master的信息

$ redis-cli -p 5000
127.0.0.1:5000> sentinel master mymaster
 1) "name"
 2) "mymaster"
 3) "ip"
 4) "127.0.0.1"
 5) "port"
 6) "6379"
 7) "runid"
 8) "953ae6a589449c13ddefaee3538d356d287f509b"
 9) "flags"
10) "master"
11) "link-pending-commands"
12) "0"
13) "link-refcount"
14) "1"
15) "last-ping-sent"
16) "0"
17) "last-ok-ping-reply"
18) "735"
19) "last-ping-reply"
20) "735"
21) "down-after-milliseconds"
22) "5000"
23) "info-refresh"
24) "126"
25) "role-reported"
26) "master"
27) "role-reported-time"
28) "532439"
29) "config-epoch"
30) "1"
31) "num-slaves"
32) "1"
33) "num-other-sentinels"
34) "2"
35) "quorum"
36) "2"
37) "failover-timeout"
38) "60000"
39) "parallel-syncs"
40) "1"

下面这两条命令分别会列出哨兵监控的group为mymaster 的master的slave信息以及监控这个master的所有哨兵信息。

SENTINEL slaves mymaster
SENTINEL sentinels mymaster

获取哨兵监控的master的地址 

127.0.0.1:5000> SENTINEL get-master-addr-by-name mymaster
1) "127.0.0.1"
2) "6379"

5、添加或删除哨兵，

• 添加哨兵比较简单，直接新启动一个哨兵就可以了，这个哨兵会自动发现所监控的master、slaves以及其它的哨兵。
• 删除哨兵稍微复杂一些，因为哨兵一旦发现一个新的哨兵后，即使后面发现的那个哨兵失联，这个哨兵也不会被删除。所以如果想删除一个哨兵，先停掉这个哨兵，然后在剩下的每个哨兵实例上执行SENTINEL RESET <pattern>命令，pattern指的是的master的名称匹配表达式，这个命令会清除对应的master上已经发现的所有哨兵和所有slaves。最后执行SENTINEL MASTER mastername  确认是否每个master已经清除了这个哨兵。

6、删除旧的master或不可用的replicas

在每个哨兵上执行  SENTINEL RESET mastername命令，10秒钟后，哨兵会更新 在master上执行INFO命令列出的replicas。

7、进行failover时，选举哪个replicas升级为master的标准 

1. 如果和master失联的时间大于

   (down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state

则这个replicas不适合升级为master,其中milliseconds_since_master_is_in_SDOWN_state指的是哨兵记录的从发现旧的master不可用到现在的时间。

1. Replica的优先级，优先级如果为0，则直接被放弃。大于0的情况下，优先级越低，越优先被选举。
2. Replication offset processed.
3. Run ID. 按runid的字典顺序，越小的越被优先选举。

8、哨兵和副本的自动发现

我们配置哨兵的时候，只配置了master的地址，那么一个哨兵是怎么发现其它监控同一个maser的哨兵和这个master的副本呢？

• 每个哨兵每隔2S都会向它所监控的master和副本实例的  __sentinel__:hello通道，publish一条消息，这条包含这个哨兵的ip和端口以及runid.
• 每个哨兵都会订阅它所监控的master和副本实例的__sentinel__:hello通道，当检测到新的哨兵时，就会在配置文件中绑定到这个master上。在添加这个哨兵到master之前，会检测当前配置中是否已经包含相同的地址或runid的哨兵，如果有，就先删除旧的哨兵再添加。
• 发布到通道的消息中包含master当前的配置信息，如果哨兵发现自己的配置信息和接收的的配置信息不一致，则更新配置。

9、failover的健壮性

failover完成后，哨兵会负责把replicas的master配置为新的master。此时旧的master可能还没有启动或这个网络还没恢复，当后续旧的master恢复正常后，哨兵也会把这个旧的master配置为新的master的副本。如果在failover期间有断开连接的副本，同样的，当副本恢复连接后，哨兵也会配置新的master。