掌握Redis的Sentinel哨兵原理，可助你拿到25k的offer

最新推荐文章于 2024-03-01 10:45:45 发布
最新推荐文章于 2024-03-01 10:45:45 发布
阅读量129 收藏
点赞数
文章标签： spring boot java 开发语言 redis 分布式
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/wdj_yyds/article/details/123733976
版权

01 Redis Sentinel的意义

  • master宕机了咋整？等运维手工从主切换，再通知所有程序把地址统统改一遍重新上线？那么服务就会停滞很久，显然对于大型系统这是灾难性的！

所以必须有高可用方案，当故障发生时可自动从主切换，程序也不用重启，不必手动运维。Redis 官方就提供了这样一种方案 —— Redis Sentinel(哨兵)。

sentinal，哨兵，redis集群架构中非常重要的一个组件，主要功能如下

  • 集群监控

监控Redis master和slave进程的正常工作

  • 消息通知

如果某个Redis实例有故障，那么哨兵负责发送报警消息给管理员

  • 故障转移

若master node宕机，会自动转移到slave node上

  • 配置中心

若发生故障转移，通知client客户端新的master地址

哨兵本身也是分布式，作为一个集群运行：

  • 故障转移时，判断一个master node是否宕机，需要大部分哨兵都同意，涉及分布式选举
  • 即使部分哨兵节点宕机，哨兵集群还是能正常工作

目前采用的是sentinal 2版本，sentinal 2相对于sentinal 1来说，重写了很多代码，主要是让故障转移的机制和算法变得更加健壮和简单

哨兵 + Redis主从的部署架构不保证数据零丢失，只保证redis集群的高可用性。

1.1 为何2个节点无法正常工作？

必须部署2个以上的节点。若仅部署2个实例，quorum=1

+----+         +----+
| M1 |---------| R1 |
| S1 |         | S2 |
+----+         +----+

Configuration: quorum = 1

master宕机，s1和s2中只要有1个哨兵认为master宕机就可以进行切换，同时会在s1和s2中选举出一个执行故障转移. 但此时，需要majority，也就是大多数哨兵都是运行的，2个哨兵的majority就是2

2个哨兵的majority=2 3个哨兵的majority=2 4个哨兵的majority=2 5个哨兵的majority=3

2个哨兵都运行着，就可以允许执行故障转移

若整个M1和S1运行的机器宕机了，那么哨兵仅剩1个，此时就无majority来允许执行故障转移，虽然另外一台机器还有一个R1，但故障转移不会执行

1.2 3节点哨兵集群

       +----+
       | M1 |
       | S1 |
       +----+
          |
+----+    |    +----+
| R2 |----+----| R3 |
| S2 |         | S3 |
+----+         +----+

Configuration: quorum = 2，majority

若M1节点宕机了，还剩下2个哨兵，S2和S3可以一致认为master宕机了，然后选举出一个来执行故障转移

同时3个哨兵的majority是2，所以余存的2个哨兵运行着，就可执行故障转移

02 Redis Sentinel 架构

2.1 Redis Sentinel故障转移

  1. 多个sentinel发现并确认master有问题。
  2. 选举出一个sentinel作为领导。
  3. 选出一个slave作为master.
  4. 通知其余slave成为新的master的slave.
  5. 通知客户端主从变化
  6. 等待老的master复活成为新master的slave

  • 可监控多套

03 安装与配置

  1. 配置开启主从节点
  2. 配置开启sentinel监控主节点。(sentinel是特殊的redis)
  3. 实际应该多机器
  4. 详细配置节点

Redis 主节点

[启动]
redis-server redis- 7000.conf

[配置]
port 7000
daemonize yes
pidfile /var/run/redis-7000.pid
logfile "7000.log"
dir "/opt/soft/redis/data/"

Redis 从节点

[启动]
redis-server redis-7001.conf
redis-server redis-7002.conf

slave-1[配置]

port 7001
daemonize yes
pidfile /var/run/redis-7001.pid
logfile "7001.log"
dir "/opt/soft/redis/data/"
slaveof 127.0.0.1 7000

slave-2[配置]
port 7002
daemonize yes
pidfile /var/run/redis-7002.pid
logfile "7002.log"
dir "/opt/soft/redis/data/"
slaveof 127.0.0.1 7000

Sentinel 主要配置

port $(port)
dir "/opt/soft/redis/data/"
logfile " $(port).log"
sentinel monitor mymaster 127.0.0.1 7000 2
sentinel down-after-milliseconds mymaster 30000
sentinel parallel-syncs mymaster 1
sentinel failover-timeout mymaster 180000

3.1 演示

  • 主节点配置

  • 重定向

  • 打印检查配置文件

  • 启动

04 客户端

  • 客户端实现基本原理-1

  • 客户端实现基本原理-2

  • 客户端实现基本原理-3 验证

  • 客户端实现基本原理-4 通知(发布订阅))

4.1 客户端接入流程

  1. Sentinel地址集合
  2. masterName
  3. 不是代理模式
JedisSentinelPool sentinelPool = new JedisSentinelPool(masterName, sentinelSet, poolConfig, timeout);

Jedis jedis = null;
try {
	jedis = redisSentinelPool.getResource();
	//jedis command
} catch (Exception e) {
	logger.error(e.getMessage(), e);
} finally {
	if (jedis != null)
		jedis.close();
}

05 定时任务

  1. 每10s 每个 sentinel 对 master 和 replica 执行 INFO 命令
  • 发现 replica 节点
  • 确认主从关系

  1. 每 2s 每个 sentinel 通过 master 节点的channel交换信息(pub/sub)
  • 通过 sentinel :java频道交互
  • 交互对节点的"看法”和自身信息

  1. 每 1s 每个 sentinel 对其他 sentinel 和 redis 执行ping
  • 心跳检测，失败判定依据

06 主观下线和客观下线

6.1 主观下线(Subjectively Down,SDOWN)

单个 Sentinel 节点对服务器做出的下线判断，即单个 Sentinel 认为某个服务下线（有可能是接收不到订阅，之间的网络不通等一系列原因）。

注意主观下线是每个sentinel节点对Redis节点失败的"偏见”。所以还需要客观下线机制。

6.2 客观下线(Objectively Down,ODOWN)

多个 Sentinel 实例在对同一个服务器做出 SDOWN 判断，并且通过命令互相交流之后，得出的服务器下线判断，然后开启 failover。

只有在足够数量( 超过quorum个)的 Sentinel 都将一个服务器标记为主观下线之后， 服务器才会被标记为客观下线（ODOWN）。只有当 Master 被认定为客观下线时，才会发生故障迁移。

6.3 仲裁

仲裁指配置文件中的 quorum 参数。某个 Sentinel 先将 Master 节点标记为主观下线，然后会将这个判定通过 sentinel is-master-down-by-addr 命令询问其他 Sentinel 节点是否也同样认为该 addr 的 Master 节点要做主观下线。

sentinel monitor <masterName> <ip> < port> <quorum>
sentinel monitor myMaster 127.0.0.1 6379 2
# 
sentinel down-after-milliseconds < masterName> < timeout>
sentinel down-after-milliseconds mymaster 30000

最后当达成这一共识的 Sentinel 个数达到前面说的 quorum 设置的值时，该 Master 节点会被认定为客观下线并进行故障转移。 quorum 值一般设为 Sentinel 个数的二分之一加 1，例如 3 个 Sentinel 就设为 2。

综上可得

6.4 哨兵工作原理

  1. 每个 Sentinel 以 1次/s 向他所知的 Master，Slave 以及其他 Sentinel 节点发送一个 PING
  2. 若一个实例距离最后一次有效回复 PING 的时间超过配置文件 down-after-milliseconds，则该实例会被 Sentinel 标记为 主观下线
  3. 若一个 Master 被标记为主观下线，则正在监视该 Master 的所有 Sentinel 会 1次/s 确认 Master 是否真的进入主观下线状态
  4. 当有足够数量 Sentinel（大于等于配置文件指定的值）在指定时间范围内确认 Master 的确进入主观下线状态，则 Master 会被标记为 客观下线
  5. 若 Master 处于 ODOWN 状态，则投票自动选出新Master。将剩余从节点指向新Master继续数据复制
  6. 在正常情况下，每个 Sentinel 会以每 10 秒一次的频率向它已知的所有 Master，Slave 发送 INFO 命令；当 Master 被 Sentinel 标记为客观下线时，Sentinel 向已下线的 Master 的所有 Slave 发送 INFO 命令的频率会从 10 秒一次改为每秒一次；
  7. 若没有足够数量 Sentinel 同意 Master 已经下线，Master 的客观下线状态会被移除。若 Master 重新向 Sentinel 的 PING 命令返回有效回复，Master 的主观下线状态就会被移除

07 领导者选举

原因：只有一个sentinel节点完成故障转移。 选举：通过sentinel is-master-down-by-addr命令都希望成为领导者：

  1. 每个做主观下线的Sentinel节点向其他Sentinel节点发送命令，要求将它设置为领导者
  2. 收到命令的Sentinel节点如果没有同意通过其他Sentinel节点发送的命令，那么将同意该请求，否则拒绝
  3. 如果该Sentinel节点发现自己的票数已经超过Sentinel集合半数且超过quorum，则将成为领导者
  4. 如果此过程有多个Sentinel节点成为了领导者，那么将等待一段时间重新选举
  • 选举实例

08 故障转移

8.1 领导者节点完成

  1. 从slave节点中选出一个“合适的"节点作为新的master节点
  2. 对上面的slave节点执行slaveof no one命令让其成为master节点
  3. 向剩余slave节点发送命令，让它们成为新master节点的slave节点，复制规则和parallel-syncs参数有关
  4. 更新对原来master节点配置为slave，并保持着对其关注，当其恢复后命令它去复制新的master节点。

8.2 选择合适的slave节点

  1. 选择slave priority(slave节点优先级)最高的slave节点，如果存在划返同，不存在则继续。
  2. 选择复制偏移量最大的slave节点(复制的最完整)，若存在则返回，不存在则

继续。 3. 选择runId最小的slave节点。

09 常见开发运维问题

9.1 节点运维

  • 机器下线:例如过保等情况
  • 机器性能不足:例如CPU、内存、硬盘、网络等
  • 节点自身故障:例如服务不稳定等

主节点 sentinel failover <masterName>

节点下线

  • 从节点:临时下线还是永久下线,例如是否做一些清理工作。但是要考虑读写分离的情况。
  • Sentinel节点: 同上。

节点上线

  • 主节点: sentinel failover进行替换
  • 从节点: slaveof即可, sentinel节点可以感知
  • sentinel节点:参考其他sentinel节点启动即可。

从节点的作用

  1. 副本：高可用基础
  2. 拓展读能力

由于Redis Sentinel只会对主节点进行故障转移,对从节点采取主观的下线,所以需要自定义一个客户端来监控对应的事件

三个消息

  • +switch-master :切换主节点(从节点晋升主节点)
  • +convert-to-slave :切换从节点(原主节点降为从节点)
  • +sdown:主观下线。

总结

  • Redis Sentinel是Redis的高可用实现方案：

故障发现、故障自动转移、配置中心、客户端通知。

  • Redis Sentinel从2.8版本开始才正式生产可用
  • 尽可能在不同物理机上部署Redis Sentinel的所有节点
  • Redis Sentinel中的Sentinel节点个数应该≥3，且最好为奇数，便于选举
  • Redis Sentinel中的数据节点与普通数据节点无差异
  • 客户端初始化时连接的是Sentinel节点集合，不再是具体的Redis节点，但

Sentinel只是配置中心，并非代理

  • Redis Sentinel通过三个定时任务实现了Sentinel节点对于主节点、从节点、

其余Sentinel节点的监控

  • Redis Sentinel在对节点做失败判定时分为主观下线和客观下线
  • 看懂Redis Sentinel故障转移日志对于Redis Sentinel以及问题排查非常有帮助
  • Redis Sentinel实现读写分离高可用可以依赖Sentinel节点的消息通知,获取Redis数据节点的状态变化

作者：JavaEdge在掘金
原文链接：
https://juejin.cn/post/6953806046272225311

Java爱好狂.
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
第四十六章：Redis sentinel哨兵集群1
08-08
二、Redis sentinel的工作机制 三、案例：构建Redis sentinel集群 四、案例：Keepalived+Haproxy+Redis实现高可用
Redis Sentinel
热门推荐
郭冰的博客
12-12 1万+
目录 一：什么是redis sentinel 二：哨兵机制下的数据丢失 场景1:master挂掉 场景 2:脑裂情况 三：哨兵机制下数据丢失解决方案 redis数据丢失解决方案 四：哨兵本身的机制和原理 sdown & odown 哨兵本身通讯机制 哨兵和redis集群的通信机制 哨兵集群本身的master选举机制（raft协议） redis集群的master选举机制 思考： redis丢失数据会带来什么问题 Q:使用redis实现的分布式锁还可靠吗？ 一：什么是r.
Redis 之六：Redis 的哨兵模式（Sentinel）
最新发布
zp8126的专栏
03-01 1645
Redis 哨兵（Sentinel）模式是一种高可用性解决方案，用于监控和自动故障转移的集群系统。在 Redis Sentinel 架构中，哨兵是一组运行在特殊模式下的 Redis 进程，它们可以监控一个或多个主从复制结构中的 Redis 主服务器以及其他从服务器的状态。sentinel 哨兵模式已经被集成在 redis2.4 之后的版本中，哨兵的核心功能是主节点的自动故障转移。
redis99.99%高可用及哨兵介绍及搭建(5)
闵浮龙的博客
01-24 839
1、什么是99.99%高可用？ 架构上，高可用性，99.99%的高可用性 讲的学术，99.99%，公式，系统可用的时间 / 系统故障的时间，365天，在365天 * 99.99%的时间内，你的系统都是可以哗哗对外提供服务的，那就是高可用性，99.99% 什么是99.99%高可用性 2、redis不可用是什么？单实例不可用？主从架构不可用？不可用的后果是什么？ redis的不可用 ...
Redis 哨兵集群实现高可用
田维常
01-23 297
Redis 哨兵集群实现高可用哨兵的介绍sentinel，中文名是哨兵。哨兵是 redis 集群机构中非常重要的一个组件，主要有以下功能：集群监控：负责监控 redis ...
Redis高可用：哨兵机制（Redis Sentinel）详解
zhaolk的博客
08-19 3475
在上文主从复制的基础上，如果主节点出现故障该怎么办呢？ 在 Redis 主从集群中，哨兵机制是实现主从库自动切换的关键机制，它有效地解决了主从复制模式下故障转移的问题。
Redis Sentinel实现哨兵模式搭建小结
01-19
Redis哨兵模式，用现在流行的话可以说就是一个“哨兵机器人”，给“哨兵机器人”进行相应的配置之后，这个”机器人”可以7*24小时工作，它能能够自动帮助你做一些事情，如监控，提醒，自动处理故障等。 Redis-...
Redis哨兵模式配置文件
03-26
Windows环境下，搭建Redis哨兵模式【一主二从三哨兵】所需要的配置文件。
redis-sentinel哨兵集群搭建并整合springboot
11-25
redis-sentinel哨兵集群搭建并整合springboot完美解决方案
redis之sentinel模式
不务正业随手记
06-08 1452
redis哨兵模式，高可用集群部署模式
Redis(八)哨兵机制
一切都是最好的安排
05-19 249
哨兵机制 下面是典型的哨兵集群监控的逻辑图 哨兵机制实现的功能 其中监控和自动故障转移功能，使得哨兵可以及时发现主节点故障并完成转移 而配置提供者和通知功能，则需要在客户端的交互中才能体现 哨兵集群的组建 哨兵监控Redis库 怎么监控？ 这是由哨兵向主库发送 INFO 命令来完成的。就像上图所示，哨兵 2 给主库发送 INFO 命令，主库接受到这个命令后，就会把从库列表返回给哨兵。接着，哨兵就可以根据从库列表中的连接信息，和每个从库建立连接，并在这个连接上持续地对从库进行监控。哨兵 1 和 3
Redis-Sentinel（哨兵模式），看这篇就够了哦
养歌的博客
12-15 8679
简介 Sentinel（哨兵） 是redis的高可用性解决方案：由一个或多个Sentinel实例组成的Sentinel系统可以监视任意多个主服务器，以及这些主服务器属下的所有从服务器，并在被监视的主服务器进行下线时，自动将下线主服务器属下的某个从服务器升级为新的主服务器。然后由新的主服务器代替已下线的主服务器继续处理命令请求。 例如下图所示： 当Server1 掉线后： 升级Server2 为新的主服务器： 启动并初始化Sentinel 启动一个Sentinel可以使用命令： redis-sentin
redis中的Sentinel详解
qq_40918324的博客
02-28 1076
以后还是要好好写博客，把好东西或者是在工作中遇到的问题记录下来 菜鸡的提升之路 最近在看《redis的设计与实现》，这本书比较底层，应用说的很好，主要还是对redis底层的详解吧，个人觉得很不错，还是很好看的一本书，特别是刚开始对redis底层的各种数据结构的介绍，步步升入。。 闲话少说，不如正题 sentinel sentinel（哨兵）是redis高可用的解决方案。它的本质是一个运行在特殊模式...
Redis高可用方案--sentinel（哨兵模式）和集群
wdwangye的博客
01-24 1229
redis高可用方案--sentinel（哨兵模式）和集群一. redis高可用方案--sentinel（哨兵模式）哨兵模式简介：sentinel工作过程：关于sentinel的三个定时任务：sentinel网络：sentinel网络故障修复原理：哨兵模式配置二. redis高可用方案--集群redis集群设计：redis集群节点分配和数据分配节点分配redis集群的主从模式redis集群搭建： 一. redis高可用方案–sentinel（哨兵模式） 当我们搭建好redis主从复制方案后会发现一个问题，那
Redis 16 哨兵模式
天河有尽后为涯，星海无边前作岸。
06-08 274
主从切换技术的操作是：当主机宕机后，需要手动把一台从机切换为主机。这就需要人工干预，费事费力，还会造成一段时间内服务不可用。这不是一种推荐的方式，更多时候，我们优先考虑哨兵模式。Redis 从2.8开始正式提供了Sentinel(哨兵)架构来解决这个问题。它是“谋朝篡位”的自动版，能够后台监控主机是否故障，如果故障了根据投票数自动将从机转换为主机。哨兵模式是一种特殊的模式，首先 Redis 提供了哨兵的命令，哨兵是一个独立的进程，它会独立运行。
Redis篇——一篇文章带你彻底拿下Sentinel哨兵模式(自动选举老大的模式)技术点，超详细、保姆级别教程奉上，不要错过~
不积跬步无以至千里
12-08 1693
一、概述和实现逻辑主从切换技术的方法是，当主服务器宕机后，需要手动把一台从服务器通过命令切换为主服务器，这就需要人工干预，还会造成一段时间内服务不可用。这不是一种值得推荐的方式，更多的时候，我们会优先考虑哨兵模式！！！哨兵模式，是一个分布式系统：通俗的讲，就是一种谋朝篡位的自动版，能够在后台监控主机是否故障，如果故障了，会根据投票自动将从服务器转换为主服务器。用于监控和管理Redis实例的高可用性。在Redis Sentinel中，哨兵实例之间通过PING和PONG消息进行通信。
Redis7【⑦ Redis哨兵(sentinel)】
weixin_44981126的博客
06-29 2132
Redis7【⑦ Redis哨兵(sentinel)】
Sentinel 概述
ClearDream__的博客
06-26 268
Sentinel也是Spring Cloud Alibaba的组件Sentinel英文翻译"哨兵\门卫"随着微服务的流行，服务和服务之间的稳定性变得越来越重要。Sentinel 以流量为切入点，从流量控制、熔断降级、系统负载保护等多个维度保护服务的稳定性。官网地址home下载地址Releases · alibaba/Sentinel · GitHub丰富的应用场景双11,秒杀,12306抢火车票完备的实时状态监控可以支持显示当前项目各个服务的运行和压力状态,分析出每台服务器处理的秒级别的数据广泛的开源生态很
redis sentinel哨兵模式
12-02
Redis Sentinel是Redis的高可用性解决方案，它通过自动监控Redis实例和提供故障转移来提高Redis的可用性。以下是Redis Sentinel的一些重要概念和步骤： 1. 哨兵节点：哨兵节点是一个独立的进程，用于监控Redis实例...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值