Redis主从哨兵集群

最新推荐文章于 2024-04-19 17:31:19 发布
最新推荐文章于 2024-04-19 17:31:19 发布
阅读量256 收藏 5
点赞数
分类专栏： Redis 文章标签： Redis Redis主从复制 Redis哨兵机制 Redis集群搭建 Redis集群
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/sinat_16658263/article/details/103037345
版权

更多精彩内容请关注

Redis主从复制

什么是主从复制

持久化保证了即使Redis服务重启也不会丢失数据，因为Redis服务重启后会将硬盘上持久化的数据恢复到内存中，但是当Redis服务器的硬盘损坏了可能会导致数据丢失，不过通过Redis的主从复制机制就可以避免这种单点故障，如下图：
在这里插入图片描述
说明：

  • 主Redis中的数据有两个副本（replication）即从redis1和从redis2，即使一台Redis服务器宕机其它两台Redis服务也可以继续提供服务。

  • 主Redis中的数据和从Redis上的数据保持实时同步，当主Redis写入数据时通过主从复制机制会复制到两个从Redis服务上。

  • 只有一个主Redis，可以有多个从Redis。

  • 主从复制不会阻塞master，在同步数据时，master 可以继续处理client 请求。

  • 一个Redis可以即是主又是从，如下图：

在这里插入图片描述

主从配置

主Redis配置

无需特殊配置

从Redis配置

修改从服务器上的redis.conf文件：

# slaveof <masterip> <masterport>
# 表示当前【从服务器】对应的【主服务器】的IP是192.168.10.135，端口是6379。
slaveof 192.168.10.135 6379

实现原理

  • Redis的主从同步，分为全量同步和增量同步。

  • 只有从机第一次连接上主机是全量同步。

  • 断线重连有可能触发全量同步也有可能是增量同步（master判断runid是否一致）。

  • 除此之外的情况都是增量同步。

在这里插入图片描述

全量同步

Redis的全量同步过程主要分三个阶段：

  • 同步快照阶段：Master创建并发送快照给Slave，Slave载入并解析快照。Master同时将此阶段所产生的新的写命令存储到缓冲区。

  • 同步写缓冲阶段：Master向Slave同步存储在缓冲区的写操作命令。

  • 同步增量阶段：Master向Slave同步写操作命令。

在这里插入图片描述

增量同步

  • Redis增量同步主要指**Slave完成初始化后开始正常工作时，Master发生的写操作同步到Slave的过程**。

  • 通常情况下，Master每执行一个写命令就会向Slave发送相同的写命令，然后Slave接收并执行。

Redis哨兵机制

Redis主从复制的缺点：没有办法对master进行动态选举，需要使用Sentinel机制完成动态选举。

简介

  • Sentinel(哨兵)进程是用于监控Redis集群中Master主服务器工作的状态

  • 在Master主服务器发生故障的时候，可以实现Master和Slave服务器的切换，保证系统的高可用（HA）

  • 其已经被集成在redis2.6+的版本中，Redis的哨兵模式到了2.8版本之后就稳定了下来。

哨兵进程的作用

  • 监控(Monitoring): 哨兵(sentinel) 会不断地检查你的Master和Slave是否运作正常。
  • 提醒(Notification)： 当被监控的某个Redis节点出现问题时, 哨兵(sentinel) 可以通过 API 向管理员或者其他应用程序发送通知。
  • 自动故障迁移(Automatic failover)：当一个Master不能正常工作时，哨兵(sentinel) 会开始一次自动故障迁移操作。
    • 它会将失效Master的其中一个Slave升级为新的Master, 并让失效Master的其他Slave改为复制新的Master；
    • 当客户端试图连接失效的Master时，集群也会向客户端返回新Master的地址，使得集群可以使用现在的Master替换失效Master。
    • Master和Slave服务器切换后，Master的redis.conf、Slave的redis.conf和sentinel.conf的配置文件的内容都会发生相应的改变，即，Master主服务器的redis.conf配置文件中会多一行slaveof的配置，sentinel.conf的监控目标会随之调换。

故障判定原理分析

  1. 每个Sentinel（哨兵）进程以每秒钟一次的频率向整个集群中的Master主服务器，Slave从服务器以及其他Sentinel（哨兵）进程发送一个 PING 命令。

  2. 如果一个实例（instance）距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被 Sentinel（哨兵）进程标记为主观下线（SDOWN）。

  3. 如果一个Master主服务器被标记为主观下线（SDOWN），则正在监视这个Master主服务器的所有 Sentinel（哨兵）进程要以每秒一次的频率确认Master主服务器的确进入了主观下线状态。

  4. 当有足够数量的 Sentinel（哨兵）进程（大于等于配置文件指定的值）在指定的时间范围内确认Master主服务器进入了主观下线状态（SDOWN）， 则Master主服务器会被标记为客观下线（ODOWN）。

  5. 在一般情况下， 每个 Sentinel（哨兵）进程会以每 10 秒一次的频率向集群中的所有Master主服务器、Slave从服务器发送 INFO 命令。

  6. 当Master主服务器被 Sentinel（哨兵）进程标记为**客观下线（ODOWN）**时，Sentinel（哨兵）进程向下线的 Master主服务器的所有 Slave从服务器发送 INFO 命令的频率会从 10 秒一次改为每秒一次。

  7. 若没有足够数量的 Sentinel（哨兵）进程同意 Master主服务器下线， Master主服务器的客观下线状态就会被移除。若 Master主服务器重新向 Sentinel（哨兵）进程发送 PING 命令返回有效回复，Master主服务器的主观下线状态就会被移除。
    在这里插入图片描述

案例演示

  • 修改从机的**sentinel.conf**：

    # 哨兵sentinel监控的redis主节点的 ip port 
# master-name  可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor <master-name> <master ip> <master port> <quorum>
sentinel monitor mymaster 192.168.10.133 6379 1

  • 其他配置项说明

sentinel.conf

# 哨兵sentinel实例运行的端口 默认26379
port 26379
 
# 哨兵sentinel的工作目录
dir /tmp
 
# 哨兵sentinel监控的redis主节点的 ip port 
# master-name  可以自己命名的主节点名字 只能由字母A-z、数字0-9 、这三个字符".-_"组成。
# quorum 当这些quorum个数sentinel哨兵认为master主节点失联 那么这时 客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <redis-port> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2
 
# 当在Redis实例中开启了requirepass foobared 授权密码 这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passw0rd
 
 
# 指定多少毫秒之后 主节点没有应答哨兵sentinel 此时 哨兵主观上认为主节点下线 默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
 
# 这个配置项指定了在发生failover主备切换时最多可以有多少个slave同时对新的master进行 同步，
这个数字越小，完成failover所需的时间就越长，
但是如果这个数字越大，就意味着越 多的slave因为replication而不可用。
可以通过将这个值设为 1 来保证每次只有一个slave 处于不能处理命令请求的状态。
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
 
 
 
# 故障转移的超时时间 failover-timeout 可以用在以下这些方面： 
#1. 同一个sentinel对同一个master两次failover之间的间隔时间。
#2. 当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
#3.当想要取消一个正在进行的failover所需要的时间。  
#4.当进行failover时，配置所有slaves指向新的master所需的最大时间。不过，即使过了这个超时，slaves依然会被正确配置为指向master，但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
 
# SCRIPTS EXECUTION
 
#配置当某一事件发生时所需要执行的脚本，可以通过脚本来通知管理员，例如当系统运行不正常时发邮件通知相关人员。
#对于脚本的运行结果有以下规则：
#若脚本执行后返回1，那么该脚本稍后将会被再次执行，重复次数目前默认为10
#若脚本执行后返回2，或者比2更高的一个返回值，脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了，则同返回值为1时的行为相同。
#一个脚本的最大执行时间为60s，如果超过这个时间，脚本将会被一个SIGKILL信号终止，之后重新执行。
 
#通知型脚本:当sentinel有任何警告级别的事件发生时（比如说redis实例的主观失效和客观失效等等），将会去调用这个脚本，这时这个脚本应该通过邮件，SMS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时，将传给脚本两个参数，一个是事件的类型，一个是事件的描述。
#如果sentinel.conf配置文件中配置了这个脚本路径，那么必须保证这个脚本存在于这个路径，并且是可执行的，否则sentinel无法正常启动成功。
#通知脚本
# sentinel notification-script <master-name> <script-path>
sentinel notification-script mymaster /var/redis/notify.sh
 
# 客户端重新配置主节点参数脚本
# 当一个master由于failover而发生改变时，这个脚本将会被调用，通知相关的客户端关于master地址已经发生改变的信息。
# 以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>
# 目前<state>总是“failover”,
# <role>是“leader”或者“observer”中的一个。 
# 参数 from-ip, from-port, to-ip, to-port是用来和旧的master和新的master(即旧的slave)通信的
# 这个脚本应该是通用的，能被多次调用，不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
 sentinel client-reconfig-script mymaster /var/redis/reconfig.sh
  • 通过redis-sentinel启动哨兵服务
./redis-sentinel sentinel.conf

Redis集群

redis3.0以后推出的redis cluster 集群方案，redis cluster集群保证了高可用、高性能、高可扩展性。

Redis的集群策略

  • 推特：twemproxy

  • 豌豆荚：codis

  • 官方：redis cluster

Redis-cluster架构图

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QB1Wjc4c-1573559851010)(Redis主从哨兵集群/1546432188097.png)]

架构细节:

(1)所有的redis节点彼此互联(PING-PONG机制),内部使用二进制协议优化传输速度和带宽.

(2)节点的fail是通过集群中超过半数的节点检测失效时才生效.

(3)客户端与redis节点直连,不需要中间proxy层.客户端不需要连接集群所有节点,连接集群中任何一个可用节点即可

(4)redis-cluster把所有的物理节点映射到[0-16383]slot上,cluster 负责维护node<->slot<->value

Redis 集群中内置了 16384个哈希槽，当需要在 Redis 集群中放置一个 key-value 时，redis 先对 key 使用 crc16 算法算出一个结果，然后把结果对 16384 求余数，这样每个 key 都会对应一个编号在 0-16383 之间的哈希槽，redis 会根据节点数量大致均等的将哈希槽映射到不同的节点

示例如下：

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-RVE1foaI-1573559851010)(Redis主从哨兵集群/1546432204175.png)]

Redis-cluster投票:容错

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-mP8pHpBp-1573559851010)(Redis主从哨兵集群/1546432229084.png)]

(1)节点失效判断：集群中所有master参与投票,如果半数以上master节点与其中一个master节点通信超过**(cluster-node-timeout)**,认为该master节点挂掉.

(2)集群失效判断:什么时候整个集群不可用(cluster_state:fail)?

  • 如果集群任意master挂掉,且当前master没有slave，则集群进入fail状态。也可以理解成集群的[0-16383]slot映射不完全时进入fail状态。

  • 如果集群超过半数以上master挂掉，无论是否有slave，集群进入fail状态。

文艺青年学编程
关注
专栏目录
Redis（主从、哨兵、集群）
weixin_49051298的博客
04-25 7676
一、Redis集群介绍 1.主从复制： 是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 2.哨兵： 在主从复制的基础上，哨兵实现了自动化的故障恢复。缺陷：写操作无法负载均衡；存储能力受到单机的限制；哨兵无法对从节点进行自动故障转移，在读写分离场景下，从节点故障会导致读服务不可用，需要对从节点做额外的监控、切换操作。 3.集群： 通过集群，R
Windows11配置redis主从哨兵
m0_61820867的博客
09-23 604
介绍了在windows11环境下如何搭建3分节点的主从哨兵
Redis 之 主从、哨兵、集群
enjoy.day
04-19 409
主从复制 原理 slave启动后会给master发送sync同步命令，master接到命令后，启动后台的存盘进程，同时收集所有接收到的 用于修改数据命令集命令，在后台执行进程完毕之后，master将所有数据文件发送到slave，完成一次完全同步。 全量复制：slave启动时。 增量复制：全量复制之后，master后续命令更新采用增量复制。 图示 配置： master不需要配置，只需要配置sla...
Redis的哨兵集群(一主两从三哨兵、部署教程和知识总结)
最新发布
weixin_71901717的博客
04-19 5706
自动故障转移Sentinel 能自动检测主节点和从节点的故障，并自动将从节点升级为新的主节点，从而保证服务的连续性和可用性。分布式监控Sentinel 可以以分布式方式运行，多个 Sentinel 实例之间会相互通信，共同决定是否需要进行故障转移。这增强了系统的健壮性和故障容忍能力。服务发现Sentinel 也承担配置提供者的角色，客户端可以查询 Sentinel 获取当前的主节点地址，这使得客户端总是连接到正确的主节点。可配置性。
【Redis】三种集群模式（主从复制、哨兵模式、Cluster）
weixin_40381772的博客
01-19 4152
redis有三种集群模式，其中主从是最常见的模式。Sentinel 哨兵模式是为了弥补主从复制集群中主机宕机后，主备切换的复杂性而演变出来的。哨兵顾名思义，就是用来监控的，主要作用就是监控主从集群，自动切换主备，完成集群故障转移。cluster 模式是redis官方提供的集群模式，使用了Sharding 技术，不仅实现了高可用、读写分离、也实现了真正的分布式存储。
redis主从 | 哨兵 | 集群
zuofanxiu的专栏
05-11 172
首先,redis作为一个高性能的key-value数据库,它有以下三个特点: 1, redis支持持久化, 即内存中数据可以持久化到磁盘,断电开机后可重新加载 2, 支持key-value类型的数据, 同时提供list, set, zset,hash等数据结构的存储 3, 支持数据备份,也就是master-slave模式的数据备份 主从 在redis中, 为了保证数...
docker-compose redis主从哨兵 redis多节点高可用 redis集群高可用
04-12
这里我们将详细探讨如何利用Docker Compose部署Redis的主从哨兵配置和集群高可用性解决方案。 首先，Docker Compose是一个强大的工具，可以让我们通过YAML文件定义和运行多容器的Docker应用。在这个场景下，我们...
一键离线部署redis主从哨兵集群-shell脚本（只需一分钟即可）
05-31
在内网或离线环境中部署 Redis 集群，尤其是主从哨兵（Sentinel）集群，往往需要手动配置，费时费力。本文将详细介绍如何使用 shell 脚本来实现一键快速部署。 首先，让我们理解一下 Redis 的主从复制和哨兵系统。...
redis主从哨兵集群
08-26
Redis主从哨兵集群是一种常见的Redis高可用架构，用于提供数据的冗余备份和故障切换。在这种集群中，有一个主节点和多个从节点，还有若干个哨兵节点。 主节点负责处理所有的写操作和读操作，并将写操作的结果同步到...
Docker搭建redis主从+哨兵模式集群.docx
07-27
Docker搭建Redis主从+哨兵模式集群 本文档主要介绍了使用Docker搭建Redis主从复制和哨兵模式集群的步骤。下面是详细的知识点总结： 一、Docker安装 * 下载Docker二进制文件（离线安装包），使用wget命令下载 * ...
Redis学习四：主从、哨兵、集群模式介绍
qq_37426635的博客
05-13 730
Redis学习四：主从、哨兵、集群模式介绍概述主从复制原理作用/优点环境配置复制原理主从复制实现的不同方式哨兵模式原理概述作用配置优点缺点集群模式（官方推荐）原理特点工作方式复制原理优点 本文是学习B站狂神说的Redis学习视频所总结的视频笔记~~~ 概述 Redis拥有4种常见的运行模式，分别为：单机、主从复制、哨兵、集群模式。其中，最基础的是单机模式，它的优势即为部署简单，费用低廉，但可靠性非常差，一旦机器宕机将会影响整个服务，仅适用不需要很高的性能以及可靠性的小型业务场景。接下来，主要介绍其他三种多机
redis的高可用（主从复制、哨兵、集群）
芦苇的博客
07-14 783
内容概要一、Redis主从复制1、Redis主从复制的概念2、Redis主从复制的作用3、Redis主从复制的流程4、Redis主从复制的搭建（1）安装Redis（所有主机）（2）修改Master节点Redis配置文件（3）修改Slave节点Redis配置文件（4）验证主从效果二、Redis 哨兵模式1、哨兵模式的原理2、哨兵模式的作用3、哨兵模式的结构4、哨兵模式的搭建（1）修改 Redis 哨兵配置文件（所有节点操作）（2）启动哨兵模式（3）查看哨兵模式信息（4）故障模拟（5）验证结果三、Redis 群
Redis 主从复制、哨兵和集群区别
孔子说
10-17 7640
转自：http://www.kongzid.com/archives/redis1 Redis Cluster是Redis的分布式集群解决方案，在 3.0 版本正式推出。在3.0之前的集群方案主要是主从复制和哨兵机制，3种方案各有优缺点。 主从复制(Replication)主要是备份数据、读写分离、负载均衡，一个Master可以有多个Slaves服务器作为备份。
Redis 群集详解
LiuHuan303的博客
12-13 1016
一，Redis群集概念 虽然Redis可以实现单机的数据持久化，但无论是RDB也好或者AOF也好，都解决不了单点宕机问题，即一旦单台 redis服务器本身出现系统故障、硬件故障等问题后，就会直接造成数据的丢失，此外单机的性能也是有极限的,因此需要使用另外的技术来解决单点故障和性能扩展的问题 主从复制:主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷:故障恢复无法自动化;写操作无法负载均..
Redis主从复制
Jak的博客
03-06 597
一、是什么 1.1 官网 行话：也就是我们所说的主从复制，主机数据更新后根据配置和策略，自动同步到备机的master/slave机制，Master以写为主，Slave以读为主。 1.2 概念 1.2.1 主从复制 主从复制，是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master/leader)，后者称为从节点(slave/follower)；数据的复制是单向的，只能由主节点到从节点。Master以写为主，Slave以读为主。 默认情况下，每台Redis服
redis主从、哨兵、集群
sanluo11的博客
08-01 1473
通过持久化功能，Redis保证了即使在服务器重启的情况下也不会损失（或少量损失）数据，因为持久化会把内存中数据保存到硬盘上，重启会从硬盘上加载数据。但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢失。为了避免单点故障，通常的做法是将数据库复制多个副本以部署在不同的服务器上，这样即使有一台服务器出现故障，其他服务器依然可以继续提供服务。为此， redis 提供了复
redis系列之——高可用（主从、哨兵、集群）
热门推荐
诸葛小猿
07-12 2万+
redis系列之——高可用（主从、哨兵、集群） 所谓的高可用，也叫HA（High Availability），是分布式系统架构设计中必须考虑的因素之一，它通常是指，通过设计减少系统不能提供服务的时间。 如果在实际生产中，如果redis只部署一个节点，当机器故障时，整改服务都不能提供服务了。这就是我们常说的单点故障。 如果redis部署了多台，当一台或几台故障时，整个系统依然可以对外提供服务，这样就提高了服务的可用性。 今天我们就聊聊redis高可用的三种模式：主从模式，哨兵模式，集群模式。 一、主从模式 一
redis三种集群模式--主从、哨兵、cluster集群的区别
m0_37900506的博客
07-18 1万+
Redis 的主从模式指的就是主从复制。 用户可以通过 SLAVEOF 命令或者配置的方式，让一个服务器去复制另一个服务器即成为它的从服务器。 主从模式架构 Redis 如何实现主从模式？ Redis 的从服务器在向主服务器发起同步时，一般会使用 SYNC 或 PSYNC 命令。 你启动一台slave 的时候，他会发送一个psync命令给master ， 如果是这个slave第一次连接到master，他会触发一个全量复制。 master就会启动一个线程，生成RDB快照，还会把新的写请求都缓存在内存中，
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值