Redis集群

最新推荐文章于 2024-10-11 09:07:53 发布
最新推荐文章于 2024-10-11 09:07:53 发布
阅读量875 收藏 19
点赞数 21
分类专栏： 微服务 文章标签： redis 数据库 spring cloud 微服务 spring boot intellij-idea 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_48605536/article/details/136140027
版权

一.Redis主从架构集群

1.搭建主从架构集群搭建

1.1集群的架构

集群架构
                

伪集群

由于我们只有一个虚拟机，所以我们需要在一个虚拟机上部署三个redis实例，但是需要保证端口不同

1.2准备3个redis

创建一个文件夹方便管理

mkdir master_slave

准备3个redis

将单机的redis复制3份

cp -r  redis-6.2.4 master_slave/7001
cp -r  redis-6.2.4 master_slave/7002
cp -r  redis-6.2.4 master_slave/7003

修改端口分别为端口分别为7001,7002，7003

  • 使用finalshell修改三个实例的port
  • 修改redis.conf文件

1.3配置主从架构的关系

方式1：修改slave的配置文件，指定主节点的地址（永久生效）
在redis.conf中添加一行配置：

slaveof <masterip> <masterport>

方式2：使用redis-cli客户端连接到slave，执行slaveof或者replicaof命令（重启后失效）

slaveof masterip masterport

1.4启动三个redis实例

分别进入7001,7002,7003的src目录

./redis-server ../redis.conf

查看是否启动(查看网络进程端口占用)

netstat -nltp

1.5查看角色

利用任意节点的redis-cli连接7001实例

./redis-cli -h localhost -p 7001

利用利用任意节点的redis-cli连接7002实例

./redis-cli -h localhost -p 7002

利用利用任意节点的redis-cli连接7003实例

./redis-cli -h localhost -p 7003

查看角色

info replication



               

1.6测试

利用redis-cli连接7001，执行set num 123

利用redis-cli连接7002，执行get num，再执行set num 666

利用redis-cli连接7003，执行get num，再执行set num 888

发现7002和7003是不能进行写操作

2.主从数据同步的原理

主从第一次同步是全量同步，但如果slave重启后同步，则执行增量同步

2.1简述全量同步的流程

  1. slave节点请求增量同步
  2. master节点判断replid，发现不一致，拒绝增量同步
  3. master将完整内存数据生成RDB，发送RDB到slave
  4. slave清空本地数据，加载master的RDB
  5. master将RDB期间的命令记录在repl_baklog，并持续将log中的命令发送给slave
  6. slave执行接收到的命令，保持与master之间的同步

2.2master如何判断slave是不是第一次来同步数据

slave做数据同步，必须向master声明自己的replication id 和offset，master才可以判断到底需要同步哪些数据

注意

repl_baklog大小有上限，写满后会覆盖最早的数据。如果slave断开时间过久，导致尚未备份的数据被覆盖，则无法基于log做增量同步，只能再次全量同步。

2.3优化Redis主从就集群

  1. 在master中配置repl-diskless-sync yes启用无磁盘复制，避免全量同步时的磁盘IO。但会消耗网络资源，且网络必须良好
  2. Redis单节点上的内存占用不要太大，减少RDB导致的过多磁盘IO
  3. 适当提高repl_baklog的大小，发现slave宕机时尽快实现故障恢复，尽可能避免全量同步
  4. 限制一个master上的slave节点数量，如果实在是太多slave，则可以采用主-从-从链式结构，减少master压力

2.4简述全量同步和增量同步区别

  • 全量同步：master将完整内存数据生成RDB，发送RDB到slave。后续命令则记录在repl_baklog，逐个发送给slave。
  • 增量同步：slave提交自己的offset到master，master获取repl_baklog中从offset之后的命令给slave

2.5什么时候执行全量同步？

  • slave节点第一次连接master节点时
  • slave节点断开时间太久，repl_baklog中的offset已经被覆盖时

2.6什么时候执行增量同步？

slave节点断开又恢复，并且在repl_baklog中能找到offset时

2.7特点

  1. 一主多从
  2. 读写分离
  3. 主从同步

二.Redis基于哨兵的主从架构集群

1搭建哨兵集群

1.1集群架构

搭建三个节点形成的Sentinel集群，来监管之前的Redis主从集群

1.2创建三个sentinel节点配置文件sentinel.conf

#sentinel节点占用端口
port 27001
#sentinel节点的ip
sentinel announce-ip "192.168.200.130"
#redis主节点的地址，和客观下线的数量
sentinel monitor mymaster 192.168.200.128 7001 2
#主观下线时间，5s和sentinel没有心跳检测成功
sentinel down-after-milliseconds mymaster 5000
#故障转移超时时间
sentinel failover-timeout mymaster 60000
#数据目录的位置
dir "/root/master_slave/sentinel27001"
#是否以后台方式启动
daemonize no
#sentinel节点占用端口
port 27002
#sentinel节点的ip
sentinel announce-ip "192.168.200.130"
#redis主节点的地址，和客观下线的数量
sentinel monitor mymaster 192.168.200.130 7001 2
#主观下线时间，5s和sentinel没有心跳检测成功
sentinel down-after-milliseconds mymaster 5000
#失败迁移超时时间
sentinel failover-timeout mymaster 60000
#数据目录的位置
dir "/root/master_slave/sentinel27002"
#是否以后台方式启动
daemonize no
#sentinel节点占用端口
port 27003
#sentinel节点的ip
sentinel announce-ip "192.168.200.130"
#redis主节点的地址，和客观下线的数量
sentinel monitor mymaster 192.168.200.130 7001 2
#主观下线时间，5s和sentinel没有心跳检测成功
sentinel down-after-milliseconds mymaster 5000
#失败迁移超时时间
sentinel failover-timeout mymaster 60000
#数据目录的位置
dir "/root/master_slave/sentinel27003"
#是否以后台方式启动
daemonize no

1.3启动三个sentinel节点

使用什么命令启动呢？

进入任意redis节点的src目录

redis-sentinel

./redis-sentinel 配置文件

./redis-sentinel /root/master_slave/sentinel27001/sentinel.conf
./redis-sentinel /root/master_slave/sentinel27002/sentinel.conf
./redis-sentinel /root/master_slave/sentinel27003/sentinel.conf

1.4测试故障转移

  • 将master宕机。
  • 观察日志
  • 查看新的主节点
  • 启动旧的master。

2.哨兵的作用和原理

2.1Redis提供了哨兵（Sentinel）机制来实现主从集群的自动故障恢复

  1. 监控：Sentinel 会不断检查您的master和slave是否按预期工作
  2. 自动故障恢复：如果master故障，Sentinel会将一个slave提升为master。当故障实例恢复后也以新的master为主
  3. 通知：Sentinel充当Redis客户端的服务发现来源，当集群发生故障转移时，会将最新信息推送给Redis的客户端

2.2服务状态监控

Sentinel基于心跳机制监测服务状态，每隔1秒向集群的每个实例发送ping命令

  • 主观下线：实例未在规定时间响应，则认为该实例主观下线。
  • 客观下线：若超过指定数量（quorum）的sentinel都认为该实例主观下线，则该实例客观下线。quorum值最好超过Sentinel实例数量的一半。

2.3选举新的master

  1. 一旦发现master故障，sentinel需要在salve中选择一个作为新的master，选择依据是这样的：
  2. 首先会判断slave节点与master节点断开时间长短，如果超过指定值（down-after-milliseconds * 10）则会排除该slave节点
  3. 然后判断slave节点的slave-priority值，越小优先级越高，如果是0则永不参与选举
  4. 如果slave-prority一样，则判断slave节点的offset值，越大说明数据越新，优先级越高
  5. 最后是判断slave节点的运行id大小，越小优先级越高。

2.4实现故障转移

  1. 当选中了其中一个slave为新的master后（例如slave1），故障的转移的步骤如下
  2. sentinel给备选的slave1节点发送slaveof no one命令，让该节点成为master
  3. sentinel给所有其它slave发送slaveof 192.168.150.101 7002 命令，让这些slave成为新master的从节点，开始从新的master上同步数据。
  4. 最后，sentinel将故障节点标记为slave，当故障节点恢复后会自动成为新的master的slave节点

2.5主从和哨兵可以解决高可用、高并发读的问题。但是有两个问题没有解决：

  1. 海量数据存储问题
  2. 高并发写的问题

三.Redis分片集群

1.使用分片集群可以解决哨兵的问题，分片集群特征：

  1. 集群中有多个master，每个master保存不同数据
  2. 每个master都可以有多个slave节点
  3. master之间通过ping监测彼此健康状态
  4. 客户端请求可以访问集群任意节点，最终都会被转发到正确节点

2.分片集群的搭建

2.1集群架构

一共是6台redis,2台一组，其中一台为master，一台为slave

端口规划

2.2准备6个redis实例

创建一个文件夹

mkdir sharding_cluster

将单机的redis复制6份

cp -r redis-6.2.4 sharding_cluster/8001
cp -r redis-6.2.4 sharding_cluster/8002
cp -r redis-6.2.4 sharding_cluster/8003
cp -r redis-6.2.4 sharding_cluster/8004

cp -r redis-6.2.4 sharding_cluster/8005

cp -r redis-6.2.4 sharding_cluster/8006

修改每个redis的配置文件redis.conf

port 8001
# 开启集群功能
cluster-enabled yes
# 集群的配置文件名称，不需要我们创建，由redis自己维护
cluster-config-file /tmp/8001/nodes.conf
# 节点心跳失败的超时时间
cluster-node-timeout 5000
# 持久化文件存放目录
dir /tmp/8001
# 绑定地址
bind 0.0.0.0
# 让redis后台运行
daemonize yes
# 注册的实例ip
replica-announce-ip 192.168.200.130
# 保护模式
protected-mode no
# 日志
logfile /tmp/8001/run.log

注意：每个端口不同，集群配置文件位置不同，持久化文件位置不同，日志文件位置不同

2.3启动所有redis实例

进入每个redis的src目录

cd /root/sharding_cluster/8001/src/
./redis-server ../redis.conf 
cd /root/sharding_cluster/8002/src/
./redis-server ../redis.conf 
cd /root/sharding_cluster/8003/src/
./redis-server ../redis.conf 
cd /root/sharding_cluster/8004/src/
./redis-server ../redis.conf 
cd /root/sharding_cluster/8005/src/
./redis-server ../redis.conf 
cd /root/sharding_cluster/8006/src/
./redis-server ../redis.conf 

启动redis

./redis-server ../redis.conf
netstat -nltp

2.4创建redis分片集群

进入任意redis实例中

redis-cli --cluster create --cluster-replicas 1 192.168.200.130:8001 192.168.200.130:8002 192.168.200.130:8003 192.168.200.130:8004 192.168.200.130:8005 192.168.200.130:8006

询问否创建yes

通过上面的信息，是否可以看出那些是主，那些是从

3.散列插槽

Redis会把每一个master节点映射到0~16383共16384个插槽（hash slot）上

3.1数据key不是与节点绑定，而是与插槽绑定。redis会根据key的有效部分计算插槽值，分两种情况：

  1. key中包含"{}"，且“{}”中至少包含1个字符，“{}”中的部分是有效部分
  2. key中不包含“{}”，整个key都是有效部分

3.2Redis如何判断某个key应该在哪个实例？

  • 将16384个插槽分配到不同的实例
  • 根据key的有效部分计算哈希值，对16384取余
  • 余数作为插槽，寻找插槽所在实例即可

3.3如何将同一类数据固定的保存在同一个Redis实例？

这一类数据使用相同的有效部分，例如key都以{typeId}为前缀

4.集群伸缩

提供了很多操作集群的命令

redis-cli --cluster  help

1.创建分片集群

2.添加节点

        主节点:分配插槽

        从节点

3.删除节点

5.故障转移

5.1当集群中有一个master宕机会发生什么呢？

  1. 首先是该实例与其它实例失去连接
  2. 然后是疑似宕机：
  3. 最后是确定下线，自动提升一个slave为新的master：

5.2数据迁移

手动的Failover支持三种不同模式：

  • 缺省：默认的流程，如上图1~6歩
  • force：省略了对offset的一致性校验
  • takeover：直接执行第5歩，忽略数据一致性、忽略master状态和其它master的意见

6.RedisTemplate访问分片集群

RedisTemplate底层同样基于lettuce实现了分片集群的支持，而使用的步骤与哨兵模式基本一致：

  • 引入redis的starter依赖
  • 配置分片集群地址
  • 配置读写分离

小毅西
关注
专栏目录
redis集群
Late_breeze的博客
09-09 1197
redis集群原理以及实验搭建
Redis集群弱/空密码问题整改
11-15
使用redis安装用户，在命令行连接上redis集群后，执行命令：config set requirepass 【自定义的强密码】，如： config set requirepass mypassword@#75@~ 然后执行 config rewrite 将配置密码持久化到redis配置文件...
Redis集群详解
怪咖@的博客
06-26 2万+
在了解Redis集群之前尽量先了解清楚Redis的主从复制和哨兵机制。读写分离，性能扩展，降低主服务器的压力容灾，快速恢复，主机挂掉时，从机变为主机Redis 主从模式不具备自动容错和恢复功能，如果主节点宕机，Redis 集群将无法工作，此时需要人为干预，将从节点提升为主节点。哨兵机制作用主要是监控主从节点，当主节点挂掉，通过内部投票机制，从 从节点当中选出一个主节点，这样可以避免人工成本。虽然主从+哨兵采用了多节点，但是他们存在的目的主要是解决容灾问题，而并非性能问题。
Redis 集群方式
qq_51678989的博客
08-12 2409
集群，即 Redis cluster， 是 Redis 3.0开始引入的分布式存储方案。集群由多个节点(Node)组成，Redis 的数据分布在这些节点中。集群中的节点分为主节点和从节点;只有主节点负责读写请求和集群信息的维护;从节点只进行主节点数据和状态信息的复制。
Redis集群原理详解
张维鹏的博客
02-16 5万+
一、redis cluster 介绍： 1、单实例的Redis架构： 最开始的一主N从加上读写分离，Redis作为缓存单实例貌似也还不错，并且有Sentinel哨兵机制，可以实现主从故障迁移。 单实例Redis本质上只有一台Master作为存储，就算机器为128GB的内存，一般建议使用率也不要超过70%-80%，所以最多使用100GB数据就已经很多了，实际中50%就不错了，因为数据量太大也会降低服务的稳定性，而且数据量太大意味着持久化成本高，可能严重阻塞服务，甚至最终切主。所以，单实例还存在以下几
redis 集群
mg1123的博客
10-12 1799
主从复制一主二仆用一台linux配置3台redis主机1.在/usr/redis下创建一个目录myredis2.在该目录下创建3台主机的配置文件(从安装目录复制)[root@linux5.0.5[root@linux5.0.5[root@linux5.0.5修改配置文件中的配置信息:69bind绑定IP:92port6666实例端口号:136守护方式运行:158pidfile进程文件:253持久化数据库文件6380 主6381 从。
redis集群搭建（非常详细，适合新手）
热门推荐
橙子君的博客
10-01 37万+
redis集群搭建 在开始redis集群搭建之前，我们先简单回顾一下redis单机版的搭建过程 下载redis压缩包，然后解压压缩文件； 进入到解压缩后的redis文件目录（此时可以看到Makefile文件），编译redis源文件； 把编译好的redis源文件安装到/usr/local/redis目录下，如果/local目录下没有redis目录，会自动新建redis目录； 进入/usr/loca...
Redis 集群搭建
zk_tww的博客
08-07 1351
cluster-replicas 1：表示1个master下挂1个slave；--cluster-replicas 2：表示1个master下挂2个slave。–cluster-master-id：对应主分支的master-id。关闭所有集群后，删除各文件夹下的文件（redis.conf除外）slave即为丛节点，后面接的是主节点master-id。5主+20丛+5备丛（即：1主-4从-1备丛）通过集群节点命令，查看主从是否自动进行切换。将所有服务下的所有redis进程关闭。redis可多进程启动。
Redis集群启动步骤
NAMELZX的博客
07-29 1298
表明您尝试创建Redis集群时，指定的节点不为空。这可能意味着该节点已经是另一个集群的一部分，或者它包含数据库0中的一些键。： 确保所有节点之间的网络连接正常，并且没有防火墙或网络安全设置阻止节点之间的通信。选项可能不安全，但如果您在安全的环境中操作，这通常不是问题。创建一个包含 3 个主节点的 Redis 集群，每个主节点有 0个从节点。： 如果节点之前是集群的一部分，并且您已清空了节点，您可能需要使用。： 确保您使用的端口号和密码与Redis配置中的设置相匹配。： 确保所有节点的配置文件（
Redis集群部署教程详解
Yel_Liang的博客
08-03 5021
Redis集群部署教程详解 ，节点故障后集群会有什么变化
Redis集群数据迁移操作文档
06-29
《Redis集群数据迁移实战指南》 在IT领域，数据迁移是一项关键任务，特别是在使用Redis这样的高性能内存数据库时。本文将详细介绍如何进行Redis集群的数据迁移，包括全量和增量数据迁移，以及离线迁移的方法，主要...
redis集群批量插入
11-23
本文将详细讨论如何在Java环境下连接Redis集群并实现批量插入String类型的数据。 首先，我们需要理解Redis集群的基本概念。Redis集群是通过分片（Sharding）技术来分散数据到多个节点，每个节点存储一部分数据。在...
Redis集群下过期key监听的实现代码
09-09
在讨论Redis集群下过期key监听的实现代码之前，首先需要明确几个核心概念和组件： Redis集群是Redis的一种高可用性解决方案，它通过将数据分布在不同的Redis节点上，并提供一定机制保证数据的复制和高可用性。集群...
阿里云公网redis集群搭建以及java访问redis集群
04-20
阿里云公网Redis集群搭建及Java访问教程 在云计算日益普及的今天，阿里云提供了便捷的公共服务，如Redis缓存服务，帮助企业或个人快速构建高效、可靠的分布式应用。本教程将详细讲解如何在阿里云上搭建公网Redis...
图解Redis 03 | List数据类型的原理及应用场景
大厂小码农的博客
10-10 757
List是一个简单的字符串列表，按照元素的插入顺序进行排序。您可以从头部或尾部添加元素到这个列表中。列表的最大长度为2^32 - 1，即支持多达40亿个元素。
重学SpringBoot3-集成Redis（十二）之点赞功能实现
最新发布
CoderJia的学习之路
10-11 2399
在现代的应用中，点赞功能是一个非常常见的需求，尤其在社交媒体、博客等平台上。Redis 作为一个高性能的键值存储系统，由于其读写速度快、支持丰富的数据结构，因此非常适合用来实现实时的点赞功能。本文将介绍如何结合 Spring Boot 3 和 Redis 来实现一个高效的点赞功能。
【Redis】持久化（下）-- AOF
2301_78320637的博客
10-08 1132
Redis提供了两种持久化RDB和AOFRDB视为内存快照,产生的内容更为紧凑占用空间小恢复速度更快.但是产生RDB的开销较大不适合进行实时持久化,一般用于冷备和主从复制AOF视为对修改命令保存,在恢复时需要重放命令.并且有重写机制来定期压缩AOF文件RDB和AOF都是用fork来创建子进程,利用Linux子进程拥有父进程内存快照的特点来进行持久化,尽可能不影响主进程继续处理后续命令。
滚雪球学Redis[1.3讲]：Redis的安装与配置
**My Coding Family**
10-09 696
在前几期文章中，我们探讨了什么是 Redis以及Redis 的基本架构，从宏观上理解了 Redis 是一个高性能的内存数据库，并学习了其客户端-服务器模型、单线程与多线程设计、内存存储与持久化机制等关键概念。这些知识为我们打下了理论基础。然而，理论与实践结合，才能真正掌握 Redis。本期，我们将深入探讨 Redis 的安装与配置过程，包括在多种操作系统上的安装方法、Redis 配置文件的重要选项以及安装过程中常见的错误与解决方案。这些内容将帮助你顺利地在本地或生产环境中部署和配置 Redis。
Redis集群搭建与扩展教程
"Redis集群教程" 在深入了解Redis集群之前，我们先理解一下集群的基本概念。集群是一种分布式系统架构，通过将多个独立的服务器节点连接在一起，形成一个整体，以提供高可用性、扩展性和容错性。Redis集群是Redis...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值