1、哨兵机制概述
哨兵机制是redis官方的高可用方案,redis主从架构下,master挂掉的情况下,slave不能主动切换为master而是需要哨兵来完成切换过程。这个过程叫failover。
哨兵不止有主从切换的作用:
- Monitoring,监控redis实例的状态。
- Notification. 当监控的redis实例的状态异常时,可以通过API通知相关人员。
- Automatic failover. 主从切换。
- Configuration provider. 为连接自己的客户端提供最新的master地址。
2、使用哨兵需要注意的点
- 启动命令,无论使用哪个命令,都必须指定配置文件的路径,哨兵会把监控的redis实例的配置保存到这个文件中,用于重启后重新加载配置。
redis-sentinel /path/to/sentinel.conf
或
redis-server /path/to/sentinel.conf --sentinel
- 哨兵默认启动端口是26379,这个端口必须开放,这个端口是哨兵之间通信的端口。
-
至少需要部署3个哨兵,才能触发failover,因为触发failover的条件是至少有大部分的哨兵认为master已经失联。
-
客户端需要支持哨兵。
-
一个哨兵可以监控多个master。
3、哨兵初始配置文件sentinel.conf解析
port 5000
sentinel monitor mymaster 127.0.0.1 6379 2
sentinel down-after-milliseconds mymaster 60000
sentinel failover-timeout mymaster 180000
sentinel parallel-syncs mymaster 1
sentinel monitor resque 192.168.1.3 6380 4
sentinel down-after-milliseconds resque 10000
sentinel failover-timeout resque 180000
sentinel parallel-syncs resque 5
sentinel monitor <master-group-name> <ip> <port> <quorum>
这条命令配置监控一个master, 其中quorum指的是至少需要quorum个哨兵认为master挂掉,才能认为master是挂掉的。这里quorum=2,假如有总共有5个哨兵,那么当有两个哨兵认为master挂掉的时候,会从这两个哨兵中选出一个哨兵,这个哨兵会确认是否至少有3个哨兵能够正常通信,如果有,才会真正开始failover。
sentinel down-after-milliseconds mymaster 60000
这条命令表示如果哨兵向master发出的ping命令 在60000ms后仍然没有收到回复,则认为这个master挂掉了。
sentinel parallel-syncs mymaster 1
当切换新的master后,哨兵会为其他的slaver配置新的master的ip和端口。这些slaver会同步新的master的数据集,这条命令表示一次只能有1个slaver同步数据集,这个值越小,则完成failover的时间会越久,但是一次只同步一个能减少停机时间,因为slaver在加载从master同步的数据集文件的时候,如果文件过大,可能会暂停服务。
4、查看哨兵监控的master的信息
$ redis-cli -p 5000
127.0.0.1:5000> sentinel master mymaster
1) "name"
2) "mymaster"
3) "ip"
4) "127.0.0.1"
5) "port"
6) "6379"
7) "runid"
8) "953ae6a589449c13ddefaee3538d356d287f509b"
9) "flags"
10) "master"
11) "link-pending-commands"
12) "0"
13) "link-refcount"
14) "1"
15) "last-ping-sent"
16) "0"
17) "last-ok-ping-reply"
18) "735"
19) "last-ping-reply"
20) "735"
21) "down-after-milliseconds"
22) "5000"
23) "info-refresh"
24) "126"
25) "role-reported"
26) "master"
27) "role-reported-time"
28) "532439"
29) "config-epoch"
30) "1"
31) "num-slaves"
32) "1"
33) "num-other-sentinels"
34) "2"
35) "quorum"
36) "2"
37) "failover-timeout"
38) "60000"
39) "parallel-syncs"
40) "1"
下面这两条命令分别会列出哨兵监控的group为mymaster 的master的slave信息以及监控这个master的所有哨兵信息。
SENTINEL slaves mymaster
SENTINEL sentinels mymaster
获取哨兵监控的master的地址
127.0.0.1:5000> SENTINEL get-master-addr-by-name mymaster
1) "127.0.0.1"
2) "6379"
5、添加或删除哨兵,
- 添加哨兵比较简单,直接新启动一个哨兵就可以了,这个哨兵会自动发现所监控的master、slaves以及其它的哨兵。
- 删除哨兵稍微复杂一些,因为哨兵一旦发现一个新的哨兵后,即使后面发现的那个哨兵失联,这个哨兵也不会被删除。所以如果想删除一个哨兵,先停掉这个哨兵,然后在剩下的每个哨兵实例上执行SENTINEL RESET <pattern>命令,pattern指的是的master的名称匹配表达式,这个命令会清除对应的master上已经发现的所有哨兵和所有slaves。最后执行SENTINEL MASTER mastername 确认是否每个master已经清除了这个哨兵。
6、删除旧的master或不可用的replicas
在每个哨兵上执行 SENTINEL RESET mastername命令,10秒钟后,哨兵会更新 在master上执行INFO命令列出的replicas。
7、进行failover时,选举哪个replicas升级为master的标准
- 如果和master失联的时间大于
(down-after-milliseconds * 10) + milliseconds_since_master_is_in_SDOWN_state
则这个replicas不适合升级为master,其中milliseconds_since_master_is_in_SDOWN_state指的是哨兵记录的从发现旧的master不可用到现在的时间。
- Replica的优先级,优先级如果为0,则直接被放弃。大于0的情况下,优先级越低,越优先被选举。
- Replication offset processed.
- Run ID. 按runid的字典顺序,越小的越被优先选举。
8、哨兵和副本的自动发现
我们配置哨兵的时候,只配置了master的地址,那么一个哨兵是怎么发现其它监控同一个maser的哨兵和这个master的副本呢?
- 每个哨兵每隔2S都会向它所监控的master和副本实例的 __sentinel__:hello通道,publish一条消息,这条包含这个哨兵的ip和端口以及runid.
- 每个哨兵都会订阅它所监控的master和副本实例的__sentinel__:hello通道,当检测到新的哨兵时,就会在配置文件中绑定到这个master上。在添加这个哨兵到master之前,会检测当前配置中是否已经包含相同的地址或runid的哨兵,如果有,就先删除旧的哨兵再添加。
- 发布到通道的消息中包含master当前的配置信息,如果哨兵发现自己的配置信息和接收的的配置信息不一致,则更新配置。
9、failover的健壮性
failover完成后,哨兵会负责把replicas的master配置为新的master。此时旧的master可能还没有启动或这个网络还没恢复,当后续旧的master恢复正常后,哨兵也会把这个旧的master配置为新的master的副本。如果在failover期间有断开连接的副本,同样的,当副本恢复连接后,哨兵也会配置新的master。