Redis-主从、哨兵、集群

最新推荐文章于 2024-05-23 16:52:53 发布
最新推荐文章于 2024-05-23 16:52:53 发布
阅读量148 收藏
点赞数
分类专栏： Redis 文章标签： redis nosql
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_38650898/article/details/116243351
版权

文章目录

Redis集群

主从复制

概述

​ 是指将一台Redis服务器的数据，复制到其他的Redis服务器。前者称为主节点(master)，后者称为从节点(slave),数据的复制是单向的，只能由主节点到从节点。

默认情况下，每台Redis服务器都是主节点；且一个主节点可以有多个从节点(或没有从节点)，但一个从节点只能有一个主节点。

复制原理

​ slave启动成功连接到master后会发送一个sync命令，Master接到命令启动后台的存盘进程，同时收集所有接收到的用于修改数据集命令，在后台进程执行完毕之后，master将传送整个数据文件到slave,以完成一次完全同步。

全量复制：

​ slave服务在接收到数据库文件数据后，将其存盘并加载到内存中。

增量复制：

​ Master继续将新的所有收集到的修改命令依次传给slave，完成同步。但是只要是重新连接master，一次完全（全量复制）将被自动执行

作用

  • 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据冗余方式。
  • 故障恢复：当主节点出现问题时，可以由从节点提供服务，实现快速的故障恢复；实际上是一种服务的冗余。
  • 负载均衡：在主从复制的基础上，配合读写分离，可以由主节点提供写服务，由从节点提供读服务（即写Redis数据时应用连接主节点，读Redis数据时应用连接从节点），分担服务器负载；尤其是在写少读多的场景下，通过多个从节点分担读负载，可以大大提高Redis服务器的并发量。
  • 读写分离：可以用于实现读写分离，主库写、从库读，读写分离不仅可以提高服务器的负载能力，同时可根据需求的变化，改变从库的数量；
  • 高可用基石：除了上述作用以外，主从复制还是哨兵和集群能够实施的基础，因此说主从复制是Redis高可用的基础

注意问题

  1. 丛机只有第一次连接会全量复制，连接之后会使用增量复制
  2. 主机宕机之后重新连接，情况会照旧
  3. 主机宕机后，从机会原地待命，不会变成主机
  4. 从机宕机后，重启情况会照旧

配置

  • 复制三个配置文件：
    在这里插入图片描述

  • 主机文件配置

    port 6379
bind 127.0.0.1         
daemonize yes             
logfile "/Users/xiao7/devTool/redis/redis-cluster/redis-6379.log"              
dir  ./               
masterauth 123456               
requirepass 123456              

appendonly yes                  
appendfilename appendonly-6379.aof


save 900 1 
dbfilename dump-6379.rdb

  • 从机配置

    port 6380
bind 127.0.0.1         
daemonize yes             
logfile "/Users/xiao7/devTool/redis/redis-cluster/redis-6380.log"              
dir  ./               
masterauth 123456               
requirepass 123456              

appendonly yes                  
appendfilename appendonly-6380.aof


save 900 1 
dbfilename dump-6380.rdb

slaveof 127.0.0.1 6379

  • 分别启动并查看集群情况

    redis-server redis-6379.conf

    在这里插入图片描述

哨兵模式(sentinel)

概述

主从模式的弊端就是不具备高可用性，当master挂掉以后，Redis将不能再对外提供写入操作，因此sentinel应运而生。

sentinel模式是建立在主从模式的基础上，如果只有一个Redis节点，sentinel就没有任何意义

基本原理

  • 当master挂了以后，sentinel会在slave中选择一个做为master，并修改它们的配置文件，其他slave的配置文件也会被修改，比如slaveof属性会指向新的master
  • 当master重新启动后，它将不再是master而是做为slave接收新的master的同步数据
  • sentinel因为也是一个进程有挂掉的可能，所以sentinel也会启动多个形成一个sentinel集群
  • 多sentinel配置的时候，sentinel之间也会自动监控
  • 当主从模式配置密码时，sentinel也会同步将配置信息修改到配置文件中，不需要担心
  • 一个sentinel或sentinel集群可以管理多个主从Redis，多个sentinel也可以监控同一个redis
  • sentinel最好不要和Redis部署在同一台机器，不然Redis的服务器挂了以后，sentinel也挂了

工作机制

  • 每个sentinel以每秒钟一次的频率向它所知的master，slave以及其他sentinel实例发送一个 PING 命令

  • 如果一个实例距离最后一次有效回复 PING 命令的时间超过 down-after-milliseconds 选项所指定的值， 则这个实例会被sentinel标记为主观下线。

  • 如果一个master被标记为主观下线，则正在监视这个master的所有sentinel要以每秒一次的频率确认master的确进入了主观下线状态

  • 当有足够数量的sentinel（大于等于配置文件指定的值）在指定的时间范围内确认master的确进入了主观下线状态， 则master会被标记为客观下线

  • 在一般情况下， 每个sentinel会以每 10 秒一次的频率向它已知的所有master，slave发送 INFO 命令

  • 当master被sentinel标记为客观下线时，sentinel向下线的master的所有slave发送 INFO 命令的频率会从 10 秒一次改为 1 秒一次

  • 若没有足够数量的sentinel同意master已经下线，master的客观下线状态就会被移除；
    若master重新向sentinel的 PING 命令返回有效回复，master的主观下线状态就会被移除

配置启动

  • 配置文件
    在这里插入图片描述

  • 配置信息

    daemonize no
logfile "./sentinel.log"
dir "/Users/xiao7/devTool/redis/redis-sentinel"

#判断master失效至少需要2个sentinel同意，建议设置为n/2+1，n为sentinel个数
# mymaster为哨兵的服务名称
sentinel monitor mymaster 127.0.0.1 6380 1
sentinel auth-pass mymaster 123456
#判断master主观下线时间，默认30s

  • 启动

    redis-sentinel sentinel.conf

复制延时

由于所有的写操作都是先在Master上操作，然后同步更新到Slave上，所以从Master同步到Slave机器有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，Slave机器数量的增加也会使这个问题更加严重。

故障恢复

主机挑选

  1. 选择优先级最小机器，优先级在redis.conf中默认slave-priority 100，值越小优先级越高
  2. 选择偏移量最大的，偏移量是指获得主机数据最多的机器
  3. 选择uuid最小的机器，uuid是redis启动自动生成的uuid

注意问题

  1. 主机宕机后选举完后重新连接，那么它就会成为从机

Cluster模式

​ sentinel模式基本可以满足一般生产的需求，具备高可用性。但是当数据量过大到一台服务器存放不下的情况时，主从模式或sentinel模式就不能满足需求了，这个时候需要对存储的数据进行分片，将数据存储到多个Redis实例中。cluster模式的出现就是为了解决单机Redis容量有限的问题，将Redis的数据根据一定的规则分配到多台机器。

​ cluster可以说是sentinel和主从模式的结合体，通过cluster可以实现主从和master重选功能，所以如果配置两个副本三个分片的话，就需要六个Redis实例。因为Redis的数据是根据一定规则分配到cluster的不同机器的，当数据量过大时，可以新增机器进行扩容。

使用

  • 实例开启集群
cluster-enabled yes    打开集群模式
cluster-config-file nodes-6379.conf  设定节点配置文件名
cluster-node-timeout 15000   设定节点失联时间，超过该时间（毫秒），集群自动进行主从切换
  • 创建集群
redis-cli --cluster create --cluster-replicas 1 192.168.11.101:6379 192.168.11.101:6380 192.168.11.101:6381 192.168.11.101:6389 192.168.11.101:6390 192.168.11.101:6391

redis-cli -c -p 6379 # 集群连接集群

使用集群不需要配置主从复制信息，需要配置主从密码，只需要将redis配置文件中的cluster-enable配置打开即可。每个集群中至少需要三个主数据库才能正常运行，新增节点非常方便。

节点原理

  • 分配

    一个集群至少要有三个主节点。选项 --cluster-replicas 1 表示我们希望为集群中的每个主节点创建一个从节点。分配原则尽量保证每个主数据库运行在不同的IP地址，每个从库和主库不在一个IP地址上。

  • solt插槽
    一个 Redis 集群包含 16384 个插槽（hash slot）， 数据库中的每个键都属于这 16384 个插槽的其中一个， 集群使用公式 CRC16(key) % 16384 来计算键 key 属于哪个槽， 其中 CRC16(key) 语句用于计算键 key 的 CRC16 校验和 。集群中的每个节点负责处理一部分插槽。 不在一个slot下的键值，是不能使用mget,mset等多键操作

故障恢复

  • 主节点宕机恢复后变成从机
  • 如果某一段插槽的主从都挂掉，而cluster-require-full-coverage yes ，那么 ，整个集群都挂掉，如果cluster-require-full-coverage no ，那么，该插槽数据全都不能使用，也无法存储。

cluster集群特点：

  • 多个redis节点网络互联，数据共享
  • 所有的节点都是一主一从（也可以是一主多从），其中从不提供服务，仅作为备用
  • 不支持同时处理多个key（如MSET/MGET），因为redis需要把key均匀分布在各个节点上，
    并发量很高的情况下同时创建key-value会降低性能并导致不可预测的行为
  • 支持在线增加、删除节点
  • 客户端可以连接任何一个主节点进行读写
小柒7
关注
专栏目录
深入学习 Redis - 主从结构配置、流程、底层原理（全网最详细）
CYK_byte的博客
08-11 8458
单点问题可用性：如果这个机器挂了，意味着服务就中断了.性能：支持的并发量也是比较有限的.因此引入分布式系统，主要也是为了解决上述的单点问题~ 分布式系统中，往往需要多个服务器来部署 redis 服务，从而构成redis 集群，此时就可以让这个集群给整个分布式系统中的其他服务，提供更稳定 / 更高效的数据存储功能.本章主要来讲一下 redis 部署方式中的主从模式~
redis—主从，哨兵，集群
且将&的博客
12-11 710
redis—主从，哨兵，集群
redis主从、哨兵、集群
chenjianhuideyueding的博客
01-31 214
redis集群 首先集群是为了解决横向扩展的问题。就是当请求量很大，服务承受不住时，可以扩展机器，增加服务来应对突然增加的服务。 redis集群方案有三种： 1、codis 2、 3、RedisCluster在3.0版本后推出的方案。 RedisCluster方案 假设有6条数据，我们集群有3台机器，那么可以会对数据进行hash分区然后对节点取余数（分区方式：虚拟槽分区和一致性hash分区） RedisCluster集群方案是采用虚拟槽分区的方式，所有的key都会通过CRC16方法进行has
Redis主从哨兵集群
qq_45793102的博客
12-29 87
说起 Redis 应该没有人会陌生了吧，作为开发中最最最最最最最常用的 nosql，它的重要性不言而喻。Redis有三种集群模式，第一个就是主从模式，第二种“哨兵”模式，第三种是 Cluster 集群模式。(准确的说应该是四种，单机模式，但是基本上只适用于自己玩玩，这里就不说了) 详情见链接：https://mp.weixin.qq.com/s/OiEM2Gsdhj8p8jc4b5h8_A ...
redis主从，哨兵，集群
yanhhuan的博客
10-23 199
转自：https://www.cnblogs.com/pigonthetree/p/12410255.html standalone类型架构 用于可穿透业务场景，如后端有DB存储，脱机影响不大的应用。 2、redis主从 假设我们生产环境使用了一台redis，redis挂了怎么办？如果等到运维重启redis，并恢复好数据，可能需要花费很长时间。那么在这期间，我们的服务是不可用的，这应该是不能容忍的。假设我们做了主从，主库挂了之后，运维让从库接管，那么服务可以继续运行，正所...
Redis主从、哨兵、集群
zhaoqingquanajax的博客
06-20 596
文章目录Redis主从复制哨兵模式分片集群 Redis主从复制 概念 主从复制，是指将一台Redis服务器的数据，复制到其他Redis服务器。前者称为主节点（master/leader），后者称为从结点（slave/follower）；数据的复制是单向的，只能由主节点到从结点。Master以写为主，Slave以读为主，实现读写分离。 默认情况下，每台Redis服务都是主节点，且一个主节点可以有多个从结点，但一个从结点只能由一个主节点。 主从复制 数据冗余：主从复制实现了数据的热备份，是持久化之外的一种数据
docker-compose redis主从哨兵 redis多节点高可用 redis集群高可用
04-12
这里我们将详细探讨如何利用Docker Compose部署Redis的主从哨兵配置和集群高可用性解决方案。 首先，Docker Compose是一个强大的工具，可以让我们通过YAML文件定义和运行多容器的Docker应用。在这个场景下，我们...
一键离线部署redis主从哨兵集群-shell脚本（只需一分钟即可）
05-31
在内网或离线环境中部署 Redis 集群，尤其是主从哨兵（Sentinel）集群，往往需要手动配置，费时费力。本文将详细介绍如何使用 shell 脚本来实现一键快速部署。 首先，让我们理解一下 Redis 的主从复制和哨兵系统。...
redis多实例部署模式介绍--哨兵模式docker部署--主从自动切换
彼德骚_漫漫长路
02-04 1315
是个研发，不知道为什么一直要搞部署工作
Redis 之 主从、哨兵、集群
enjoy.day
04-19 392
主从复制 原理 slave启动后会给master发送sync同步命令，master接到命令后，启动后台的存盘进程，同时收集所有接收到的 用于修改数据命令集命令，在后台执行进程完毕之后，master将所有数据文件发送到slave，完成一次完全同步。 全量复制：slave启动时。 增量复制：全量复制之后，master后续命令更新采用增量复制。 图示 配置： master不需要配置，只需要配置sla...
redis--主从、哨兵、集群
我要MEANING
05-07 295
转载自：http://blog.csdn.net/c295477887/article/details/52487621 一、主从 通过持久化功能，Redis保证了即使在服务器重启的情况下也不会损失（或少量损失）数据，因为持久化会把内存中数据保存到硬盘上，重启会从硬盘上加载数据。  。但是由于数据是存储在一台服务器上的，如果这台服务器出现硬盘故障等问题，也会导致数据丢
Redis 集群-主从-哨兵
amateur12的博客
06-30 385
集群-主从-哨兵
Redis（主从、哨兵、集群）
weixin_49051298的博客
04-25 7614
一、Redis集群介绍 1.主从复制： 是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了数据的多机备份，以及对于读操作的负载均衡和简单的故障恢复。缺陷：故障恢复无法自动化；写操作无法负载均衡；存储能力受到单机的限制。 2.哨兵： 在主从复制的基础上，哨兵实现了自动化的故障恢复。缺陷：写操作无法负载均衡；存储能力受到单机的限制；哨兵无法对从节点进行自动故障转移，在读写分离场景下，从节点故障会导致读服务不可用，需要对从节点做额外的监控、切换操作。 3.集群： 通过集群，R
Redis主从、哨兵、集群架构
业精于勤，荒于嬉
04-29 206
5 主从同步 Redis 单节点存在单点故障问题，为了解决单点问题，一般都需要对 Redis 配置从节点，然后使用哨兵来监听主节点的存活状态，如果主节点挂掉，从节点能继续提供缓存功能。 5.1. Redis 主从复制简介 Redis 支持将数据同步到多台从库上，这种特性对提高读取性能非常有益。 1) master 可以有多个 slave。 2) 除了多个 slave 连到相同的 master 外，slave 也可以连接其它 slave 形成图状结构。 3) 主从复制不会阻塞 master。也就是
Redis主从集群与哨兵集群
lovoo的博客
06-06 1393
如果一个哨兵实例出现故障，其他哨兵实例仍然可以监控 Redis 实例的状态，并执行故障转移操作。如果哨兵实例无法与 Redis 实例通信，则哨兵实例会认为该实例已经出现故障，并开始执行故障转移操作。故障转移操作包括将故障实例的故障状态通知其他哨兵实例，并选举出一个新的主节点来接管故障实例的职责。一旦新的主节点被选举出来，所有哨兵实例都会将新的主节点添加到自己的配置中，并停止向故障实例发送 PING 命令。要在同一台虚拟机开启3个实例，必须准备三份不同的配置文件和目录，配置文件所在目录也就是工作目录。
Redis 主从复制-哨兵-集群
Demo_lu的博客
07-17 243
Redis 主从复制-哨兵-集群一、主从复制-哨兵-集群二、主从复制1、主从复制的作用2、主从复制流程3、部署Redis 主从复制三、哨兵模式1、哨兵模式的原理2、哨兵模式的作用3、哨兵结构由两部分组成，哨兵节点和数据节点四、集群模式1、集群的作用，可以归纳为两点2、Redis集群的数据分片3、以3个节点组成的集群为例4、Redis集群的主从复制模型5、Redis集群部署 一、主从复制-哨兵-集群 1.主从复制：主从复制是高可用Redis的基础，哨兵和集群都是在主从复制基础上实现高可用的。主从复制主要实现了
Redis主从、哨兵、集群讲解
最新发布
wangwcy的博客
05-23 2142
哨兵模式，就是由一个或多个哨兵实例组成的哨兵系统，它可以监视所有的Redis主节点和从节点，并在被监视的主节点进入下线状态时，自动将下线主服务器属下的某个从节点升级为新的主节点。假如节点A标记节点B为主观下线，一段时间后，节点A通过消息把节点B的状态发到其它节点，当节点C接受到消息并解析出消息体时，如果发现节点B的pfail状态时，会触发客观下线流程；Gossip是一种谣言传播协议，每个节点周期性地从节点列表中选择 k 个节点，将本节点存储的信息传播出去，直到所有节点信息一致，即算法收敛了。
Redis主从与哨兵集群搭建教程
"该资源为一个关于Redis主从、哨兵和集群搭建的PDF教程，主要涉及Redis数据复制、高可用性以及哨兵系统的配置。教程涵盖了从安装Redis到设置主从复制，再到哨兵监控的整个过程。" 在Redis中，主从复制是一个关键...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值