文章目录
7.1 发送SENTINEL is-master-down-by-addr命令
7.2 接收SENTINEL is-master-down-by-addr命令
7.3 接收SENTINEL is-master-down-by-addr命令的回复
前言
Sentinel是Redis的高可用性解决方案:由一个或多个Sentinel实例组成的Sentinel系统可以监视任意多个主服务器,以及这些主服务器属下的所有从服务器,并在被监视的主服务器进入下线状态时,自动将下线主服务器属下的某个从服务器升级为新的主服务器,然后由新的主服务器代替已下线的主服务器继续处理命令请求。
假设,主服务器server1进入下线状态,那么从服务器server2、server3、server4对主服务器的复制操作将被中止,并且Sentinel会察觉到server1已下线,
当server1下线时长超过用户设定的下线时长上限时,Sentinel就会对server1执行故障转移操作:
- Sentinel系统会挑选server1属下的其中一个从服务器,并将这个被选中的从服务器升级为新的主服务器;
- Sentinel系统会向server1属下的所有从服务器发送新的复制指令,让他们成为新的主服务器的从服务器,当所有从服务器都开始复制新的主服务器时,故障转移操作执行完毕;
- Sentinel还会继续监视已下线的server1,并在它重新上线时,将它设置为新的主服务器的从服务器。
一、启动并初始化Sentinel
启动Sentinel:
redis-sentinel /usr/local/etc/redis-sentinel.conf
redis-server /usr/local/etc/redis-sentinel.conf --sentinel
这两个命令效果相同。
Sentinel启动时,需要执行以下步骤:
- 初始化服务器;
- 将普通Redis服务器使用代码替换成Sentinel专用代码;
- 初始化Sentinel状态;
- 根据给定的配置文件,初始化Sentinel的监视主服务器列表;
- 创建连向主服务器的网络连接。
1.1 初始化服务器
Sentinel只是一个运行在特殊模式下的Redis服务器,所以启动Sentinel的第一步,就是初始化一个普通的Redis服务器。
1.2 使用Sentinel专用代码
启动Sentinel的第二个步骤就是将一部分普通Redis服务器使用的代码替换成Sentinel专用代码。
比如,用REDIS_SENTINEL_PORT替换REDIS_SERVERPORT; 用sentinelcmds替换redisCommandTable。
1.3 初始化Sentinel状态
在应用了Sentinel专用代码后,服务器会初始化sentinelState结构,保存了服务器中所有和Sentinel功能有关的状态。
1.4 初始化Sentinel状态的masters属性
Sentinel状态中的masters字典记录了所有被Sentinel监视的主服务器相关信息。
- 字典的键是被监视主服务器的名字;
- 而字典的值则是被监视主服务器对应的sentinelRedisInstance。
每个sentinelRedisInstance代表一个被Sentinel监视的Redis实例,这个实例可以是主服务器、从服务器,或者另外一个Sentinel。
sentinelRedisInstance.addr属性是一个指向sentinelAddr结构的指针,保存着实例的IP和port:
对Sentinel状态的初始化将引发对masters字典的初始化,而masters字典的初始化是根据被载入的Sentinel配置文件来进行的。
1.5 创建连向主服务器的网络连接
初始化Sentinel的最后一步是创建连向被监视主服务器的网络连接,Sentinel将成为主服务器的客户端,他可以向主服务器发送命令,并从命令回复中获取相关的信息。
对于每个被Sentinel监视的主服务器来说,Sentinel会创建两个连向主服务器的异步网络连接:
- 一个是命令连接,这个连接专门用于向主服务器发送命令,并接收命令回复;
- 一个是订阅连接,这个连接专门用于订阅主服务器的__sentinel__:hello频道。
二、获取主服务器信息
Sentinel默认以每十秒一次的频率,通过命令连接被监视的主服务器发送INFO命令,并通过分析INFO命令的回复来获取主服务器的当前信息。
通过分析主服务器返回的INFO命令回复,Sentinel可以获取一下两方面信息:
- 关于主服务器本身的信息,包括run_id和role;
- 关于主服务器属下所有从服务器的信息,每个从服务器都由一个“slave”开头,根据信息,Sentinel无须用户提供从服务器地址信息,就可以自动发现从服务器;
三、获取从服务器信息
当Sentinel发现主服务器有新的从服务器出现时,Sentinel会为这个新的从服务器创建相应的实例之外,还会创建连接到从服务器的命令连接和订阅连接。
在创建命令连接之后,Sentinel默认会以十秒一次的频率通过命令连接向从服务器发送INFO命令。
四、向主服务器和从服务器发送信息
默认情况下,Sentinel以每两秒一次的频率,通过命令连接向所有被监视的主服务器和从服务器发送以下命令:
这条命令向服务器__sentinel__:hello频道发送一条了信息,内容包括:
- 以s_开头的参数记录的是Sentinel本身的信息;
- m_开头的参数记录的是主服务器的信息。
五、接收来自主服务器和从服务器的频道信息
当Sentinel与一个主服务器或者从服务器建立起订阅连接后,Sentinel会通过订阅连接,向服务器发送以下命令:
Sentinel对__sentinel__:hello频道的订阅会一直持续到Sentinel与服务器连接断开为止。
5.1 更新sentinels字典
Sentinel为主服务器创建的实例结构中的sentinels字典保存了除Sentinel本身之外,所有同样监视
5.2 创建连向其他Sentinel的命令连接
当Sentinel通过频道信息发现一个新的Sentinel时,不仅会为新Sentinel在sentinels字典创建相应结构,还会创建一个连向新Sentinel的命令连接,而新Sentinel也同样会创建连向这个Sentinel的命令连接,最终监视同一主服务器的多个Sentinel将形成互联的网络。
六、检测主观下线状态
在默认情况下,Sentinel会以每秒一次的频率向所有与它创建了命令连接的实例(主服务器、从服务器、其他Sentinel)发送PING命令,判断实例是否在线。
- 有效回复:实例返回+PONG、-LOADING、-MASTERDOWN中的一种;
- 无效回复:除+PONG、-LOADING、-MASTERDOWN之外的其他回复,或者超时。
Sentinel配置文件中的down-after-milliseconds指定了Sentinel判断实例进入主观下线所需的时间长度。如果一个实例在down-after-milliseconds毫秒内,连续向Sentinel返回无效回复,那么Sentinel会修改这个实例所对应的实例结构,在flags属性中打开SRI_S_DOWN标识,表示这个实例已进入主观下线状态。
七、检查客观下线状态
当Sentinel将一个主服务器判断为主观下线之后,为了确认这个主服务器是否真的下线,他会向同样监视这个主服务器的其他Sentinel进行询问。当从其他Sentinel接收到足够数量已下线判断之后,Sentinel就会将主服务器判断为客观下线,并对主服务器执行故障转移。
7.1 发送SENTINEL is-master-down-by-addr命令
Sentinel使用命令询问其他Sentinel是否同意主服务器已下线:
7.2 接收SENTINEL is-master-down-by-addr命令
当一个Sentinel接收到另一个Sentinel发来的SENTINEL is-master-down-by命令时,Sentinel会检查主服务器是否已下线,然后向Sentinel返回Multi Bulk回复:
7.3 接收SENTINEL is-master-down-by-addr命令的回复
根据其他Sentinel的回复,Sentinel将统计其他Sentinel同意主服务器已下线的数量,当这一数量达到配置指定的数量时,Sentinel会将主服务器实例flags的SRI_O_DOWN标识打开,表示主服务器已进入客观下线。
八、选举领头Sentinel
当一个主服务器被判断为客观下线时,监视这个下线主服务器的各个Sentinel会进行协商,选举一个领头Sentinel,并由领头Sentinel对下线主服务器执行故障转移操作。
选举领头Sentinel的规则方法:
- 所有在线的Sentinel都有被选为领头Sentinel的资格;
- 每次进行领头Sentinel选举之后,不论选举是否成功,所有Sentinel的配置纪元的值都会自增一次,配置纪元实际上就是一个计数器;
- 在一个配置纪元里面,所有Sentinel都有一次将某个Sentinel设置为局部领头Sentinel的机会,并且局部领头一旦设置,这个配置纪元里就不能再更改;
- 每个发现主服务器进入客观下线的Sentinel都会要求其他Sentinel将自己设置为局部领头Sentinel;
- 当一个Sentinel向另一个Sentinel发送SENTINEL is-master-down-by-addr,并且命令中的runid参数不是*而是Sentinel的运行ID时,这表示源Sentinel要求目标Sentinel将前者设置为后者的局部领头Sentinel;
- Sentinel设置局部领头Sentinel的规则时先到先得;
- 目标Sentinel在接收到SENTINEL is-master-down-by-addr命令后,将向源Sentinel回复。回复中的leader_runid参数和leader_epoch分别记录目标Sentinel的局部领头Sentinel的运行ID和配置纪元;
- 源Sentinel在接收到目标Sentinel的回复后,会检查回复中leader_epoch参数的值和自己的配置纪元是否相同。如果相同,那么源Sentinel继续看leader_runid参数,如果和源Sentinel的运行ID一致,那么表示目标Sentinel将源Sentinel设置成了局部领头Sentinel;
- 如果被半数以上的Sentinel设置成了局部领头Sentinel,那么就成为了领头Sentinel;
- 因为领头Sentinel需要半数以上Sentinel的支持,并且每个Sentinel再每个配置纪元里只能设置一次局部领头Sentinel,所以在一个配置纪元里只会出现一个领头Sentinel;
- 如果在给定时限内,没有选举出领头Sentinel,那么将在一段时间后再次选举。
九、故障转移
在选举产生出领头Sentinel后,领头Sentinel将对已下线的主服务器执行故障转移:
- 在已下线主服务器属下的从服务器中选出一个从服务器,并将其转换为主服务器;
- 让已下线主服务器属下的所有从服务器改为复制新的主服务器;
- 将已下线主服务器设置为新的主服务器的从服务器,当这个旧的主服务器重新上线时,它就会成为新的主服务器的从服务器。
9.1 选出新的主服务器
在已下线主服务器属下的所有从服务器中,挑选出一个状态良好、数据完整的从服务器,然后向这个从服务器发送SLAVEOF no one,将这个从服务器转为主服务器。
9.2 修改从服务器的复制目标
当新的主服务器出现后,领头Sentinel让已下线主服务器属下的所有从服务器去复制新的主服务器。
9.3 将旧的主服务器变为从服务器
最后要将已下线的主服务器设置为新的主服务器的从服务器。
因为旧的主服务器已经下线,所有这种设置时保存在server1对应的实例结构里面的,当server1重新上线时,Sentinel就回向他发送SLAVEOF命令。
十、重点回顾
- Sentinel只是一个运行在特殊模式下的Redis服务器,它使用了和普通模式不同的命令表;
- Sentinel会读入用户指定的配置文件,为每个要被监视的主服务器创建相应的实例结构,并创建连向主服务器的命令连接和订阅连接,其中命令连接用于向主服务器发送命令请求,而订阅连接则用于接收指定频道的消息;
- Sentinel通过向主服务器发送INFO命令来获得主服务器属下所有从服务器的地址信息,并为这些从服务器创建相应的实例结构,以及连向这些从服务器的命令连接和订阅连接;
- 在一般情况下,Sentinel以每十秒一次的频率向被监视的主服务器和从服务器发送INFO命令,当主服务器处于下线状态,或者Sentinel正在对主服务器进行故障转移时,Sentinel向从服务器发送INFO命令的频率会改为每秒一次;
- 监视同一个主服务器和从服务器的多个Sentinel,他们会以每两秒一次的频率,通过向被监视服务器的__sentinel__:hello频道发送消息来向其他Sentinel宣告自己的存在;
- 每个Sentinel也会从__sentinel__:hello频道中接收其他Sentinel的信息,并根据这些信息为其他Sentinel创建相应的实例结构以及命令连接;
- Sentinel只会与主服务器和从服务器创建命令连接和订阅连接,Sentinel之间只创建命令连接;
- Sentinel每秒一次向实例发送PING命令,并根据实例对PING命令的回复来判断实例是否在线,当一个实例在指定的时长中连续向Sentinel发送无效回复时,Sentinel会将这个实例判断为主观下线;
- 当Sentinel将一个主服务器判断为主观下线时,他会向同样监视这个主服务器的其他Sentinel进行询问,看他们是否同意这个主服务器已进入主观下线状态;
- 当Sentinel收到足够多的主观下线投票后,他会将主服务器判断为客观下线,并发起一次针对主服务器的故障转移。
参考
Sentinel选举领头Sentinel的方法是对Raft算法的领头选举方法的实现。