Redis主从复制、哨兵、集群搭建(docker)

已于 2024-01-10 15:34:05 修改
阅读量410 收藏 9
点赞数 8
分类专栏： 技术 文章标签： redis
于 2024-01-10 14:42:12 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_67154380/article/details/135503270
版权

主从复制(replica)

在这里插入图片描述

一主二从
三大命令:

  • 主从复制
    replicaof 主库ip port
    配从不配主
  • 改换门庭
    slaveof 新主库ip port
  • 自立门户
    slaveof no one

从机不能执行写命令

修改配置文件

  1. 关闭daemonize no (否则与docker的-d选项起冲突运行不起来)
  2. 注释掉bind 127.0.0.1
    在这里插入图片描述
  3. protected-mode no
    在这里插入图片描述
  4. 指定端口
    在这里插入图片描述
  5. 指定当前工作目录,dir
    在这里插入图片描述
  6. pid文件名字,pidfile
    在这里插入图片描述
  7. log文件名字,logfile
    在这里插入图片描述
  8. requirepass
    在这里插入图片描述
  9. dump.rdb名字
    在这里插入图片描述
  10. aof文件,appendfilename
    在这里插入图片描述
  11. 从机访问主机的通行密码masterauth,必须(主机不需要配，从机需要配)
    在这里插入图片描述

启动一主二从redis实例

  1. 创建日志文件添加权限
touch /docker-v/redis-replica/redis6379/logs/redis.log
touch /docker-v/redis-replica/redis6380/logs/redis.log
touch /docker-v/redis-replica/redis6381/logs/redis.log

chmod 777 /docker-v/redis-replica/redis6379/logs/redis.log
chmod 777 /docker-v/redis-replica/redis6380/logs/redis.log
chmod 777 /docker-v/redis-replica/redis6381/logs/redis.log
  1. 先开启master再启动两台slave
#----------master
docker run -p 6379:6379 --name redis6379  --privileged=true \
 -v /docker-v/redis-replica/redis6379/redis.conf:/etc/redis/redis.conf \
 -v /docker-v/redis-replica/redis6379/data:/data \
 -v /docker-v/redis-replica/redis6379/logs:/var/log/redis \
 -d redis:7.0.0 redis-server /etc/redis/redis.conf
 
#----------slave1
docker run -p 6380:6379 --name redis6380 --privileged=true \
 -v /docker-v/redis-replica/redis6380/redis.conf:/etc/redis/redis.conf \
 -v /docker-v/redis-replica/redis6380/data:/data \
 -v /docker-v/redis-replica/redis6380/logs:/var/log/redis \
 -d redis:7.0.0 redis-server /etc/redis/redis.conf
 
#----------slave2
docker run -p 6381:6379 --name redis6381 --privileged=true \
 -v /docker-v/redis-replica/redis6381/redis.conf:/etc/redis/redis.conf \
 -v /docker-v/redis-replica/redis6381/data:/data \
 -v /docker-v/redis-replica/redis6381/logs:/var/log/redis \
 -d redis:7.0.0 redis-server /etc/redis/redis.conf

主从关系查看

  • 主机日志
    在这里插入图片描述
  • 从机日志
    在这里插入图片描述
  • 命令查看(info replication)
    在这里插入图片描述
    在这里插入图片描述

缺点

由于所有的写操作都是先在Master上操作，然后同步更新到Slave上，所以从Master同步到Slave机器有一定的延迟，当系统很繁忙的时候，延迟问题会更加严重，Slave机器数量的增加也会使这个问题更加严重。
在这里插入图片描述
如果master挂了，默认情况下不会再slave节点中自动重选一个master,引出哨兵

哨兵(sentinel)

在这里插入图片描述

之前的一主两从复制，再加入三个哨兵，不存放数据，只是吹哨人

启动主从数据库查看状态,测试正常的主从复制

在这里插入图片描述

准备配置文件

######### sentinel62379.conf #########
bind 0.0.0.0
daemonize no
protected-mode no
port 26379
logfile "/var/log/redis/sentinel26379.log"
sentinel monitor mymaster 172.17.0.3 6379 2
sentinel auth-pass mymaster 123456

######### sentinel62380.conf #########
bind 0.0.0.0
daemonize no
protected-mode no
port 26380
logfile "/var/log/redis/sentinel26380.log"
sentinel monitor mymaster 172.17.0.3 6379 2
sentinel auth-pass mymaster 123456

######### sentinel62381.conf #########
bind 0.0.0.0
daemonize no
protected-mode no
port 26381
logfile "/var/log/redis/sentinel26381.log"
sentinel monitor mymaster 172.17.0.3 6379 2
sentinel auth-pass mymaster 123456

重点参数说明

  • bind

服务监听地址，用于客户端连接，默认本机地址

  • daemonize

是否以后台daemon方式运行(设置为no，否则会和docker run的-d参数冲突运行不起来)

  • protected-mode

安全保护模式

  • port

哨兵sentinel实例运行的端口 默认26379

  • logfile

日志文件路径

  • pidfile

pid文件路径

  • dir

工作目录

  • sentinel monitor <master-name> <ip> <redis-port> <quorum>

哨兵sentinel监控的redis主节点的 ip port
quorum(/ˈkwɔːrəm/ 法定人数)表示最少有几个哨兵认可客观下线，同意故障迁移的法定票数

  • sentinel auth-pass <master-name> <password>

master设置了密码，连接master服务的密码

启动哨兵完成监控

docker run -p 26379:26379 --name redis-sentinel1 -v /docker-v/redis-sentinel/sentinel26379.conf:/etc/redis/sentinel26379.conf \
-v /docker-v/redis-sentinel/sentinel26379.log:/var/log/redis/sentinel26379.log \
-d redis:7.0.0 redis-sentinel /etc/redis/sentinel26379.conf


docker run -p 26380:26380 --name redis-sentinel2 -v /docker-v/redis-sentinel/sentinel26380.conf:/etc/redis/sentinel26380.conf \
-v /docker-v/redis-sentinel/sentinel26380.log:/var/log/redis/sentinel26380.log \
-d redis:7.0.0 redis-sentinel /etc/redis/sentinel26380.conf

docker run -p 26381:26381 --name redis-sentinel3 -v /docker-v/redis-sentinel/sentinel26381.conf:/etc/redis/sentinel26381.conf \
-v /docker-v/redis-sentinel/sentinel26381.log:/var/log/redis/sentinel26381.log \
-d redis:7.0.0 redis-sentinel /etc/redis/sentinel26381.conf

查看状态

在这里插入图片描述
在这里插入图片描述

使用建议

哨兵节点的数量应为多个，哨兵本身应该集群，保证高可用
哨兵节点的数量应该是奇数
各个哨兵节点的配置应一致
如果哨兵节点部署在Docker等容器里面，尤其要注意端口的正确映射
哨兵集群+主从复制，并不能保证数据零丢失

集群(cluster)

3主3从redis集群配置
本次端口号使用:
6382,6383,6384,6385,6386,6387

配置步骤

  1. 创建好docker挂载目录,创建日志文件并设置权限
mkdir /docker-v/redis-cluster/6382
mkdir /docker-v/redis-cluster/6383
mkdir /docker-v/redis-cluster/6384
mkdir /docker-v/redis-cluster/6385
mkdir /docker-v/redis-cluster/6386
mkdir /docker-v/redis-cluster/6387

touch /6382/cluster.log  
touch /6383/cluster.log  
touch /6384/cluster.log  
touch /6385/cluster.log  
touch /6386/cluster.log  
touch /6387/cluster.log  

chmod 777 cluster.log
  1. 编写配置文件
bind 0.0.0.0
daemonize no
protected-mode no
port 6382
logfile "/var/log/redis/cluster.log"
pidfile /data/cluster.pid
dir /data/
dbfilename dump.rdb
appendonly yes
appendfilename "appendonly.aof"
requirepass 123456
masterauth 123456

cluster-enabled yes
cluster-config-file nodes.conf
cluster-node-timeout 5000

将配置文件复制五份，修改端口号

  1. 启动redis容器
docker run -p 6382:6382 --name redis6382 --hostname redis6382  --privileged=true \
 -v /docker-v/redis-cluster/6382/redis.conf:/etc/redis/redis.conf \
 -v /docker-v/redis-cluster/6382/data:/data \
 -v /docker-v/redis-cluster/6382/logs/cluster.log:/var/log/redis/cluster.log \
 -d redis:7.0.0 redis-server /etc/redis/redis.conf

复制该运行命令启动另外5台

  1. 通过redis-cli命令为6台机器构建集群关系
redis-cli -a 123456 --cluster create --cluster-replicas 1 172.17.0.3:6382 172.17.0.4:6383 172.17.0.5:6384 172.17.0.6:6385 172.17.0.7:6386 172.17.0.8:6387

本次每台redis的ip为容器内部ip
–cluster-replicas 1 表示为每个master创建一个slave节点

在这里插入图片描述
在这里插入图片描述
5. 以6382为切入点查看集群状态
在这里插入图片描述
在这里插入图片描述

读写测试

  • 对6381新增两个key，看看效果如何
    在这里插入图片描述
  • 为什么报错

一定注意槽位的范围区间，需要路由到位
在这里插入图片描述

  • 如何解决

防止路由失效加参数-c
在这里插入图片描述

  • 查看某个key该属于对应的槽位值CLUSTER KEYSLOT 键名称
    在这里插入图片描述

主从扩容

  1. 新增6388,6389两个服务实例配置文件后并启动
  2. 将新增的6388节点(空槽号)作为master节点加入原集群

redis-cli -a 密码 --cluster add-node 自己实际IP地址:6388 自己实际IP地址:6382
在这里插入图片描述

  1. 检查集群情况

redis-cli -a 123456 --cluster check 172.17.0.3:6382
在这里插入图片描述

  1. 重新分配槽号(reshard)

命令:redis-cli -a 密码 --cluster reshard IP地址:端口号
redis-cli -a 密码 --cluster reshard 172.17.0.3:6382
在这里插入图片描述
在这里插入图片描述

  1. 检查集群情况

在这里插入图片描述

  1. 为主节点6387分配从节点6388

命令：redis-cli -a 密码 --cluster add-node ip:新slave端口 ip:新master端口 --cluster-slave --cluster-master-id 新主机节点ID
redis-cli -a 111111 --cluster add-node 192.168.111.174:6388 192.168.111.174:6387 --cluster-slave --cluster-master-id 4feb6a7ee0ed2b39ff86474cf4189ab2a554a40f-------这个是6387的编号，按照自己实际情况
在这里插入图片描述

  1. 检查集群状态

在这里插入图片描述

主从缩容

  1. 检查集群情况，先获得从节点6388的节点ID

redis-cli -a 密码 --cluster check 192.168.111.174:6388
在这里插入图片描述

  1. 从集群中将4号从节点6388删除

命令：redis-cli -a 密码 --cluster del-node ip:从机端口 从机6388节点ID在这里插入图片描述

  1. 检查集群情况

redis-cli -a 111111 --cluster check 192.168.111.174:6385
检查一下发现，6388被删除了，只剩下7台机器了
在这里插入图片描述

  1. 将6387的槽号清空，重新分配，本例将清出来的槽号都给6381

redis-cli -a 111111 --cluster reshard 192.168.111.175:6381
在这里插入图片描述
在这里插入图片描述

  1. 检查集群状态

在这里插入图片描述

  1. 将6387删除

redis-cli -a 111111 --cluster del-node 192.168.111.174:6387 4feb6a7ee0ed2b39ff86474cf4189ab2a554a40f
在这里插入图片描述

  1. 检查集群情况,6387/6388被彻底祛除

在这里插入图片描述

SpringBoot集成redis连接集群

  • 本地添加路由，对容器的访问通过虚拟机来路由
route -p add 172.17.0.0 mask 255.255.255.0 192.168.183.139
  • 启动6台redis集群
  • 修改yml
server.port=7777

spring.application.name=redis7_study

# ========================logging=====================
logging.level.root=info
logging.level.com.atguigu.redis7=info
logging.pattern.console=%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger- %msg%n 

logging.file.name=D:/mylogs2023/redis7_study.log
logging.pattern.file=%d{yyyy-MM-dd HH:mm:ss.SSS} [%thread] %-5level %logger- %msg%n

# ========================swagger=====================
spring.swagger2.enabled=true
#在springboot2.6.X结合swagger2.9.X会提示documentationPluginsBootstrapper空指针异常，
#原因是在springboot2.6.X中将SpringMVC默认路径匹配策略从AntPathMatcher更改为PathPatternParser，
# 导致出错，解决办法是matching-strategy切换回之前ant_path_matcher
spring.mvc.pathmatch.matching-strategy=ant_path_matcher


# ========================redis集群=====================
spring.redis.password=111111
# 获取失败 最大重定向次数
spring.redis.cluster.max-redirects=3
spring.redis.lettuce.pool.max-active=8
spring.redis.lettuce.pool.max-wait=-1ms
spring.redis.lettuce.pool.max-idle=8
spring.redis.lettuce.pool.min-idle=0
spring.redis.cluster.nodes=192.168.111.175:6381,192.168.111.175:6382,192.168.111.172:6383,192.168.111.172:6384,192.168.111.174:6385,192.168.111.174:6386
  • 测试

人为模拟，master-6381机器意外宕机，手动shutdown
SpringBoot客户端没有动态感知到RedisCluster的最新集群信息
Redis Cluster集群部署采用了3主3从拓扑结构，数据读写访问master节点， slave节点负责备份。当master宕机主从切换成功，redis手动OK，but 2个经典故障
在这里插入图片描述

  • 原因

SpringBoot 2.X版本，Redis默认的连接池采用Lettuce
当Redis集群节点发生变化后，Letture默认是不会刷新节点拓扑

  • 解决方案

刷新节点集群拓扑动态感应

  • 修改yml
# ========================redis集群=====================
spring.redis.password=111111
# 获取失败 最大重定向次数
spring.redis.cluster.max-redirects=3
spring.redis.lettuce.pool.max-active=8
spring.redis.lettuce.pool.max-wait=-1ms
spring.redis.lettuce.pool.max-idle=8
spring.redis.lettuce.pool.min-idle=0
#支持集群拓扑动态感应刷新,自适应拓扑刷新是否使用所有可用的更新，默认false关闭
spring.redis.lettuce.cluster.refresh.adaptive=true
#定时刷新
spring.redis.lettuce.cluster.refresh.period=2000
spring.redis.cluster.nodes=192.168.111.175:6381,192.168.111.175:6382,192.168.111.172:6383,192.168.111.172:6384,192.168.111.174:6385,192.168.111.174:6386
富贵135
关注
  • 8
    点赞
  • 踩
  • 9
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
redis集群搭建（一主一从一哨兵）
03-07
redis集群搭建（一主一从一哨兵）
Docker搭建redis主从+哨兵模式集群.docx
07-27
本文档主要介绍了使用Docker搭建Redis主从复制和哨兵模式集群的步骤。下面是详细的知识点总结： 一、Docker安装 * 下载Docker二进制文件（离线安装包），使用wget命令下载 * 上传到服务器，使用MobaXterm等工具 * ...
redis 哨兵集群搭建
Ri_Ttian的成长之路
12-27 76
redis 哨兵搭建 redis集群架构 redis 一主两从 sentinel 三个 配置 master 正常配置 设置密码 关闭安全模式 从1 设置 slaveof 127.0.0.1 6380 masterauth “12345678” 从2 设置 slaveof 12.0.0.1 6381 masterauth “12345678” 哨兵1 配置 参数2 表示需要两个哨兵投票才会认为master下线 sentinel monitor mymaster 127.0.0.1 6379 2 sentine
redis集群之哨兵架构搭建
最新发布
weixin_45476104的博客
04-22 1345
在主从集群架构中S节点宕机重启后可以找master节点同步数据,那Master节点宕机后怎么办呢？为此，出现了Sentinel(哨兵),哨兵是Redis的高可用性解决方案。哨兵是一个分布式系统,用于对主从架构中的每台服务器进行监控,当Master出现故障时通过投票机制从Slave选择新的Master,并将所有的Slave连接到新的Master,当Slave出现故障时将其下线。为此哨兵有两个主要的职能一是监控, 二是选择,监控的是集群中每个节点的状态，选择的是当Master节点出现故障时重新选择出主节点。
redis搭建哨兵集群
多回访
04-06 1751
redis安装部署 环境说明： redis使用的是6.2.6版本 主机 IP 系统 master 192.168.129.136 slave 192.168.182.135 redhat8 slave2 192.168.182.134 redhat8 准备工作 // 三台主机都要做 [root@master opt] wget https://download.redis.io/releases/redis-6.2.6.tar.gz //三台主机都做 [root@master
搭建Redis哨兵集群
SunnyDay87的博客
05-18 329
搭建Redis哨兵集群 1. 环境准备 准备3台服务器地址为： 192.163.1.11 192.163.1.12 192.163.1.13 并且保证三台机器能供互相ping通 2. 安装Redis 2.1 下载 http://download.redis.io/releases/redis-5.0.7.tar.gz 2.2 解压缩 #放入系统文件夹中，进入到该文件夹，我的文件夹在/usr/local/environment tar xzf redis-5.0.7.tar.gz 2.3 编译 cd
docker-compose redis主从哨兵 redis多节点高可用 redis集群高可用
04-12
这里我们将详细探讨如何利用Docker Compose部署Redis的主从哨兵配置和集群高可用性解决方案。 首先，Docker Compose是一个强大的工具，可以让我们通过YAML文件定义和运行多容器的Docker应用。在这个场景下，我们...
使用docker搭建redis一主二从三哨兵集群
01-09
这是本人在工作中搭建集群的实践经验，当时遇到很多问题，困扰了我好久，最后查看了好多文章成功解决所有问题，主从集群，哨兵监听都成功。现在分享出来，我就以一台服务器模拟搭建三台服务器的集群。请务必阅读每一...
redis-sentinel哨兵集群搭建并整合springboot
11-25
Redis Sentinel 是 Redis 集群的一种高可用性解决方案，它负责监控、故障检测以及主从节点的自动故障转移。在本文中，我们将讨论如何搭建一个 Redis Sentinel 集群，并将其与 SpringBoot 应用程序进行整合。首先，...
Redis部署笔记（单机+主从+哨兵+集群）
09-14
基于Centos7系统，由浅入深讲解如何部署Redis的四种模式，分别是：单机模式、主从模式、哨兵模式、集群模式。 完整原文：http://exp-blog.com/2018/09/14/pid-2285/ 同时提供Jedis客户端封装源码： ● 屏蔽Jedis与JedisCluster的连接细节和差异，统一封装成RedisClient类，并内置连接池 ● 统一Jedis与JedisCluster连接的配置项，封装成RedisBean类，主要供RedisClient使用 ● 屏蔽byte[]数据类型，所有实现了序列化接口的对象均可直接在Redis进行读写 ● 保留String数据类型（并不会序列化成byte[]，目的是保留与其他程序交互数据的方式） ● 把Redis的Map封装成RedisMap<T>类（key强制为String），暴露API模仿Java的Map ● 把Redis的Set封装成RedisSet<T>类，暴露API模仿Java的Set ● 把Redis的List封装成RedisList<T>类，暴露API模仿Java的List ● 把Redis的单键值对封装成RedisObj<T>类
搭建Redis哨兵集群(实例):
qq_59369367的博客
12-05 1013
搭建哨兵模式的前提是要首先搭建Redis主从复制: Redis主从复制原理: Redis支持主从同步。数据可以从主服务器向任意数量的从服务器上同步，从服务器可以是关联其他从服务器的主服务器。这使得Redis可执行单层树复制。从盘可以有意无意的对数据进行写操作。由于完全实现了发布/订阅机制，使得从数据库在任何地方同步树时，可订阅一个频道并接收主服务器完整的消息发布记录。同步对读取操作的可扩展性和数据冗余很有帮助。 全量复制: 而在slave服务在接受到数据库文件数据后,将其存盘并加载到内存...
redis集群哨兵搭建
weixin_44736318的博客
10-31 287
redis集群哨兵搭建 1 前提环境 虚拟机 redis 版本 5.3 准备三台服务 192.168.2.130 192.168.2.129 192.168.2.128 2 、Redis 安装部署 官网下载地址：https://redis.io/download，这里我们下载目前最新版5.0.7， 或者直接使用命令下载 wget http://download.redis.io/releases/redis-5.0.7.tar.gz 安装部署就不介绍了 启动单个测试 启动命令 /usr/loc
Redis集群系列四 —— 哨兵集群搭建
旷野历程
12-28 522
Redis集群系列之哨兵集群
linux-Centos-7-64位：redis哨兵机制及集群搭建
Leopard锋的博客
06-20 726
哨兵机制的原理及实现 Redis Sentinel Redis Sentinel 是一个分布式架构，其中包含若干个 Sentinel 节点和 Redis 数据节点，每个 Sentinel 节点会对数据节点和其余 Sentinel 节点进行监控，当它发现节点不可达时，会对节点做下线标识。如果被标识的是主节点，它还会和其他 Sentinel 节点进行“协商”，当大多数 Sentinel 节点都认为...
Redis哨兵集群搭建
dreaming9420的博客
03-19 6262
文章目录1 为什么要使用哨兵模式2 哨兵模式的工作原理3 一主二从三哨兵搭建步骤4 测试该哨兵集群是否可用5 Spring Boot连接Redis哨兵集群 1 为什么要使用哨兵模式 主从模式下，主机会自动将数据同步到从机，为了分载Master的读操作压力，Slave服务器可以为客户端提供只读操作的服务，写服务依然必须由Master来完成，实现读写分离。当主服务器宕机后，需要手动把一台从服务器切换为主服务器，这就需要人工干预，费事费力，还会造成一段时间内服务不可用。 2 哨兵模式的工作原理 在主从模式下
redis 集群搭建(哨兵模式)
追风筝的人博客
08-24 313
哨兵作用： 1、通过发送命令，让Redis服务返回监测其运行状态，包括主服务和从服务器 2、当哨兵监测到主服务master宕机，会自动将slave切换成master,然后通过发布，订阅模式，通知其他从服务器，修改配置文件，并且会同步服务之间的数据。 搭建过程，首先需要搭建redis 搭建主从复制集群，可以看我之前搭建主从复制博客。 准备好三台服务器，都已经安装好了redis. IP 192.168.1.7 master 192.168.1.8 sa...
redis主从复制集群搭建
08-19
要在 Docker 中搭建 Redis 主从复制集群，可以按照以下步骤进行操作： 1. 首先，确保你已经安装了 Docker 并且具备基本的 Docker 知识。 2. 创建一个用于主节点的 Redis 镜像，并命名为 `redis-master`。可以使用以下命令： ``` docker pull redis docker run --name redis-master -p 6379:6379 -d redis ``` 3. 创建两个用于从节点的 Redis 镜像，并分别命名为 `redis-slave1` 和 `redis-slave2`。可以使用以下命令： ``` docker run --name redis-slave1 -p 6380:6379 -d redis redis-server --slaveof redis-master 6379 docker run --name redis-slave2 -p 6381:6379 -d redis redis-server --slaveof redis-master 6379 ``` 这里的 `--slaveof` 参数将从节点设置为主节点的从属。 4. 创建一个用于搭建 Redis 集群的网络，并将主节点和从节点连接到该网络。可以使用以下命令： ``` docker network create redis-cluster docker network connect redis-cluster redis-master docker network connect redis-cluster redis-slave1 docker network connect redis-cluster redis-slave2 ``` 5. 现在

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值