深入浅出Redis之Sentinel

Sentinel(哨岗、哨兵）是Redis的高可用性( high availability )解决方案:由一个或多个Sentinel实例( instance )组成的Sentinel系统（ system)可以监视任意多个主服务器,以及这些主服务器属下的所有从服务器，并在被监视的主服务器进入下线状态时，自动将下线主服务器属下的某个从服务器升级为新的主服务器，然后由新的主服务器代替已下线的主服务器继续处理命令请求。

当server1的下线时长超过用户设定的下线时长上限时，Sentinel系统就会对server1执行故障转移操作:

• 首先，Sentinel系统会挑选server1属下的其中一个从服务器，并将这个被选中的从服务器升级为新的主服务器。

• 之后，Sentinel系统会向server1属下的所有从服务器发送新的复制指令，让它们成为新的主服务器的从服务器，当所有从服务器都开始复制新的主服务器时，故障转移操作执行完毕。

• 另外，Sentinel还会继续监视已下线的server1，并在它重新上线时，将它设置为新的主服务器的从服务器。

1. 启动并初始化Sentinel

当一个Sentinel启动时，它需要执行以下步骤:

1）初始化服务器。

2）将普通Redis服务器使用的代码替换成Sentinel 专用代码。

3）初始化 Sentinel状态。

4）根据给定的配置文件,初始化Sentinel的监视主服务器列表。

5）创建连向主服务器的网络连接。

初始化服务器

首先，因为Sentinel本质上只是一个运行在特殊模式下的Redis服务器，所以启动Sentinel的第一步，就是初始化一个普通的Redis服务器。

不过，因为Sentinel执行的工作和普通Redis服务器执行的工作不同，所以Sentinel的初始化过程和普通Redis服务器的初始化过程并不完全相同。

使用Sentinel专用代码

启动Sentinel的第二个步骤就是将一部分普通Redis服务器使用的代码替换成Sentinel专用代码。

初始化Sentinel状态

在应用了Sentinel 的专用代码之后，接下来，服务器会初始化一个sentinel.c/sentinelstate结构(（后面简称“Sentinel状态”)，这个结构保存了服务器中所有和Sentinel 功能有关的状态（服务器的一般状态仍然由redis.h/redisserver结构保存)。

初始化Sentinel状态的masters属性

Sentinel状态中的masters字典记录了所有被Sentinel监视的主服务器的相关信息，其中:

• 字典的键是被监视主服务器的名字。

• 而字典的值则是被监视主服务器对应的sentinel.c/sentinelRedisInstance结构。

每个sentinelRedisInstance结构(后面简称“实例结构”)代表一个被Sentinel监视的Redis服务器实例( instance)，这个实例可以是主服务器、从服务器，或者另外一个Sentinel。

创建连向主服务器的网络连接

初始化Sentinel的最后一步是创建连向被监视主服务器的网络连接，Sentinel将成为主服务器的客户端，它可以向主服务器发送命令，并从命令回复中获取相关的信息。

对于每个被Sentinel监视的主服务器来说，Sentinel会创建两个连向主服务器的异步网络连接:

• 一个是命令连接，这个连接专门用于向主服务器发送命令，并接收命令回复。

• 另一个是订阅连接，这个连接专门用于订阅主服务器的_sentinel_:hello频道。

2. 获取主服务器信息

Sentinel默认会以每十秒一次的频率,通过命令连接向被监视的主服务器发送 INFO命令，并通过分析INFO命令的回复来获取主服务器的当前信息。

通过分析主服务器返回的INFO命令回复，Sentinel可以获取以下两方面的信息:

• 一方面是关于主服务器本身的信息，包括run_id域记录的服务器运行ID，以及role域记录的服务器角色;

• 另一方面是关于主服务器属下所有从服务器的信息，每个从服务器都由一个"slave"字符串开头的行记录，每行的ip=域记录了从服务器的P地址，而port=域则记录了从服务器的端口号。根据这些IP地址和端口号，Sentinel无须用户提供从服务器的地址信息，就可以自动发现从服务器。

根据run_id域和role域记录的信息，Sentinel将对主服务器的实例结构进行更新,例如，主服务器重启之后，它的运行ID就会和实例结构之前保存的运行ID不同，Sentinel检测到这一情况之后,就会对实例结构的运行ID进行更新。

至于主服务器返回的从服务器信息，则会被用于更新主服务器实例结构的slaves字典，这个字典记录了主服务器属下从服务器的名单。

3. 获取从服务器信息

当Sentinel 发现主服务器有新的从服务器出现时，Sentinel除了会为这个新的从服务器创建相应的实例结构之外，Sentinel还会创建连接到从服务器的命令连接和订阅连接。

举个例子，对于图16-10所示的主从服务器关系来说，Sentinel将对slave0、slavel和slave2三个从服务器分别创建命令连接和订阅连接，如图16-11所示。

根据INFO命令的回复,Sentinel会提取出以下信息:从服务器的运行IDrun_id。

• 从服务器的角色role。

• 主服务器的IP地址master_host，以及主服务器的端口号master_port

• 主从服务器的连接状态master_link_status。

• 从服务器的优先级slave_priority。

• 从服务器的复制偏移量slave_repl_offset。

4. 向主服务器和从服务器发送信息

在默认情况下，Sentinel会以每两秒一次的频率，通过命令连接向所有被监视的主服务器和从服务器发送以下格式的命令:

PUBLISH_sentinel_:hello"<s_ip>,<s_port>,<s_runid>,<s_epoch>,<m_name>,<m_ip>,<m port>,<m_epoch>"

这条命令向服务器的__sentinel_:hello频道发送了一条信息，信息的内容由多个参数组成:

• 其中以s_开头的参数记录的是Sentinel本身的信息，各个参数的意义如表16-2所示。

• 而m_开头的参数记录的则是主服务器的信息，各个参数的意义如表16-3所示。如果Sentinel正在监视的是主服务器，那么这些参数记录的就是主服务器的信息;如果Sentinel正在监视的是从服务器，那么这些参数记录的就是从服务器正在复制的主服务器的信息。

5. 接收来自主服务器和从服务器的频道信息

当Sentinel与一个主服务器或者从服务器建立起订阅连接之后，Sentinel就会通过订阅连接,向服务器发送以下命令:

SUBSCRIBE_sentinel_:hello

Sentinel对_sentinel_:hello频道的订阅会一直持续到Sentinel 与服务器的连接断开为止。

这也就是说，对于每个与Sentinel连接的服务器，Sentinel既通过命令连接向服务器的_sentinel_:hello频道发送信息，又通过订阅连接从服务器的_sentinel__:hello频道接收信息，如图16-13所示。

对于监视同一个服务器的多个Sentinel来说，一个Sentinel 发送的信息会被其他Sentinel接收到,这些信息会被用于更新其他Sentinel对发送信息 Sentinel的认知，也会被用于更新其他 Sentinel对被监视服务器的认知。

更新sentinels字典

Sentinel为主服务器创建的实例结构中的sentinels字典保存了除Sentinel本身之外，所有同样监视这个主服务器的其他Sentinel的资料:

• sentinels字典的键是其中一个Sentinel的名字，格式为ip:port，比如对

于IP地址为127.0.0.1，端口号为26379的 Sentinel来说，这个Sentinel在sentinels字典中的键就是"127.0.0.1:26379"。

• sentinels字典的值则是键所对应Sentinel 的实例结构，比如对于键"127.0.0.1:26379"来说，这个键在sentinels字典中的值就是IP为127.0.0.1，端口号为26379的 Sentinel的实例结构。

当一个Sentinel接收到其他Sentinel发来的信息时（我们称呼发送信息的Sentinel为源Sentinel，接收信息的Sentinel 为目标Sentinel )，目标Sentinel 会从信息中分析并提取出以下两方面参数:

• 与Sentinel有关的参数:源Sentinel的IP地址、端口号、运行ID和配置纪元。

• 与主服务器有关的参数:源Sentinel正在监视的主服务器的名字、IP地址、端口号和配置纪元。

根据信息中提取出的主服务器参数，目标Sentinel会在自己的Sentinel状态的masters字典中查找相应的主服务器实例结构，然后根据提取出的Sentinel参数，检查主服务器实例结构的sentinels字典中，源 Sentinel的实例结构是否存在:

• 如果源Sentinel的实例结构已经存在，那么对源Sentinel实例结构进行更新。

• 如果源Sentinel的实例结构不存在，那么说明源Sentinel是刚刚开始监视主服务器的新Sentinel，目标Sentinel会为源Sentinel创建一个新的实例结构，并将这个结构添加到sentinels字典里面。

图16-15展示了Sentinel 127.0.0.1:26379为主服务器127.0.0.1:6379创建的实例结构,以及结构中的sentinels字典。

创建连向其他Sentinel的命令连接

当Sentinel通过频道信息发现一个新的Sentinel时,它不仅会为新Sentinel在sentinels字典中创建相应的实例结构，还会创建一个连向新Sentinel的命令连接，而新Sentinel 也同样会创建连向这个Sentinel的命令连接,最终监视同一主服务器的多个Sentinel将形成相互连接的网络:Sentinel A有连向Sentinel B的命令连接，而Sentinel B也有连向Sentinel A的命令连接。

6. 检测主观下线状态

在默认情况下，Sentinel会以每秒一次的频率向所有与它创建了命令连接的实例（包括主服务器、从服务器、其他Sentinel在内）发送PING命令，并通过实例返回的PING命令回复来判断实例是否在线。

• Sentinel1将向Sentinel2、主服务器master 、从服务器slave1和 slave2发送PING命令。

• Sentinel2将向Sentinel1、主服务器master 、从服务器slave1和 slave2发送PING命令。

实例对PING命令的回复可以分为以下两种情况:

有效回复:实例返回+PONG、-LOADING、一MASTERDOWN三种回复的其中一种。

无效回复:实例返回除+PONG、-LOADING、一MASTERDOWN三种回复之外的其他回复,或者在指定时限内没有返回任何回复。

7. 检查客观下线状态

当Sentinel将一个主服务器判断为主观下线之后，为了确认这个主服务器是否真的下线了，它会向同样监视这一主服务器的其他Sentinel进行询问，看它们是否也认为主服务器已经进入了下线状态（可以是主观下线或者客观下线)。当Sentinel 从其他Sentinel那里接收到足够数量的已下线判断之后，Sentinel就会将从服务器判定为客观下线，并对主服务器执行故障转移操作。

接收SENTINEL is-master-down-by-addr命令

当一个Sentinel(目标Sentinel）接收到另一个Sentinel(源Sentinel）发来的SENTINELis-master-down-by命令时，目标Sentinel会分析并取出命令请求中包含的各个参数,并根据其中的主服务器IP和端口号，检查主服务器是否已下线，然后向源Sentinel返回一条包含三个参数的Multi Bulk回复作为SENTINEL is-master-down-by命令的回复:

1)<down_state>

2)<leader_runid>

3)<leader_epoch>

接收SENTINEL is-master-down-by-addr命令的回复

根据其他Sentinel发回的SENTINEL is-master-down-by-addr命令回复，Sentinel将统计其他Sentinel同意主服务器已下线的数量，当这一数量达到配置指定的判断客观下线所需的数量时，Sentinel 会将主服务器实例结构flags属性的SRI_O_DOwN标识打开，表示主服务器已经进入客观下线状态，如图16-19所示。

8. 选举领头Sentinel P256

当一个主服务器被判断为客观下线事，监视这个下线主服务器的各个Sentinel会进行协商，选举出一个领头Sentinel，并由领头Sentinel对下线主服务器执行故障转移操作。

9. 故障转移

在选举产生出领头Sentinel之后，领头Sentinel将对已下线的主服务器执行故障转移操作,该操作包含以下三个步骤:

1)在已下线主服务器属下的所有从服务器里面，挑选出一个从服务器，并将其转换为主服务器。

2)让已下线主服务器属下的所有从服务器改为复制新的主服务器。

3)将已下线主服务器设置为新的主服务器的从服务器，当这个旧的主服务器重新上线时，它就会成为新的主服务器的从服务器。

选出新的主服务器P258

修改从服务器的复制目标P259

将旧的主服务器变为从服务器P261

10. 重点

• Sentinel只是一个运行在特殊模式下的 Redis服务器，它使用了和普通模式不同的命令表，所以Sentinel模式能够使用的命令和普通Redis服务器能够使用的命令不同。

• Sentinel 会读入用户指定的配置文件，为每个要被监视的主服务器创建相应的实例结构，并创建连向主服务器的命令连接和订阅连接，其中命令连接用于向主服务器发送命令请求，而订阅连接则用于接收指定频道的消息。

• Sentinel通过向主服务器发送 INFO命令来获得主服务器属下所有从服务器的地址信息，并为这些从服务器创建相应的实例结构，以及连向这些从服务器的命令连接和订阅连接。

• 在一般情况下，Sentinel 以每十秒一次的频率向被监视的主服务器和从服务器发送INFO命令，当主服务器处于下线状态，或者Sentinel正在对主服务器进行故障转移操作时，Sentinel向从服务器发送 INFO命令的频率会改为每秒一次。

• 对于监视同一个主服务器和从服务器的多个Sentinel来说，它们会以每两秒一次的频率，通过向被监视服务器的_sentinel__:hello频道发送消息来向其他Sentinel宣告自己的存在。

• 每个Sentinel也会从_sentinel_:hello频道中接收其他Sentinel 发来的信息，并根据这些信息为其他Sentinel创建相应的实例结构，以及命令连接。

• Sentinel只会与主服务器和从服务器创建命令连接和订阅连接，Sentinel 与Sentinel之间则只创建命令连接。

• Sentinel 以每秒一次的频率向实例（包括主服务器、从服务器、其他Sentinel )发送PING命令，并根据实例对PING命令的回复来判断实例是否在线，当一个实例在指定的时长中连续向Sentinel发送无效回复时，Sentinel会将这个实例判断为主观下线。

• 当Sentinel将一个主服务器判断为主观下线时，它会向同样监视这个主服务器的其他Sentinel进行询问，看它们是否同意这个主服务器已经进入主观下线状态。

• 当Sentinel收集到足够多的主观下线投票之后，它会将主服务器判断为客观下线，并发起一次针对主服务器的故障转移操作。