Redis-海量存储高并发问题4：RedisCluster搭建和扩容（伪集群：4主4从）

置顶 已于 2023-08-04 17:14:43 修改
阅读量1k 收藏 4
点赞数 1
分类专栏： 大型分布式系统缓存架构 文章标签： redis java clustering 分布式 数据库
于 2020-10-23 11:50:04 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/chuanchengdabing/article/details/109226115
版权

Redis-海量存储高并发问题：RedisCluster搭建和扩容（伪集群：4主4从）

关键词

分片集群优点：

  1. 海量数据存储：
    集群中有多个master，每个master保存不同的数据 ，数据存储上限取决于master数量
  2. 高并发写的问题：
    集群中有多个master，每个master包含多个slave，主从并发度都比较高
  3. 不需要哨兵：
    多个master之间互相ping，监测彼此的健康状态，主从切换
  4. 访问方式：
    客户端请求可以访问集群任意节点，最终都会被转发到正确节点

在这里插入图片描述

如图：

在这里插入图片描述

功能：

（1）搭建Redis集群，要求三主三从
（2）能够添加一主一从（Master4和Slaver4）
（3）能够通过JedisCluster向RedisCluster添加数据和取出数据


一、RedisCluster 搭建（伪集群）

1.1 RedisCluster 集群配置 清单

节点名称访问地址
Master1192.168.80.77：5555
Master2192.168.80.77：5556
Master3192.168.80.77：5557
Slave1192.168.80.77：5558
Slave2192.168.80.77：5559
Slave3192.168.80.77：5560
Master4192.168.80.77：5561
Slave4192.168.80.77：5562

1.2 搭建集群

下载redis-5.0.5

	wget http://download.redis.io/releases/redis-5.0.5.tar.gz

在这里插入图片描述

创建redis集群目录redis-cluster，存放所有redis节点

在这里插入图片描述

解压缩redis安装包

	tar -zxvf redis-5.0.5.tar.gz

在这里插入图片描述

cd切换到redis解压目录下，执行编译

在这里插入图片描述

安装并指定安装目录安装redis

	make install PREFIX=/opt/redis-cluster/redisMaster1

在这里插入图片描述

从 redis 的源码目录中复制 redis.conf 到 redis 的安装目录生成的bin目录中

在这里插入图片描述

修改 redis.conf 文件，修改如下参数

	# 1. 设置端口
	port 5555
	
	# 2. 将`daemonize`由`no`改为`yes`
	daemonize yes
	
	# 3. 默认绑定的是回环地址，默认不能被其他机器访问
	# bind 127.0.0.1
	
	# 4. 是否开启保护模式，由yes该为no
	protected-mode no 
	
	# 5. 开启集群模式
	cluster-enabled yes

拷贝已经安装完毕得redisMaster1，拷贝出6个redis实例（注意：端口修改）

在这里插入图片描述按照master和slave进行主从节点得区分
在这里插入图片描述

修改端口

在这里插入图片描述

编写批处理脚本，启动所有的Redis实例:

	#创建start.sh，启动所有的实例
	vi redisStart.sh

在这里插入图片描述

赋写脚本得执行的权限，并执行脚本，启动三主三从redis实例

在这里插入图片描述

node.conf中记录了所有的节点以及槽的对应关系：目前只有当前节点得信息（实例id和实例标识等信息）
在这里插入图片描述

创建Redis集群（创建时Redis里不要有数据）(进入任何一个redis都可以)

	./redis-cli --cluster create 192.168.80.77:5555 192.168.80.77:5556 192.168.80.77:5557 
	          192.168.80.77:5558 192.168.80.77:5559 192.168.80.77:5560 --cluster-replicas 1

 	说明：--cluster-replicas 1 ： 设置一主一从，前三台为主，后三天随机和主进行配对

	[root@redisCluster bin]# ./redis-cli --cluster create 192.168.80.77:5555 192.168.80.77:5556 192.168.80.77:5557 192.168.80.77:5558 192.168.80.77:5559 192.168.80.77:5560 --cluster-replicas 1



	>>> Performing hash slots allocation on 6 nodes...
	Master[0] -> Slots 0 - 5460
	Master[1] -> Slots 5461 - 10922
	Master[2] -> Slots 10923 - 16383
	Adding replica 192.168.80.77:5559 to 192.168.80.77:5555
	Adding replica 192.168.80.77:5560 to 192.168.80.77:5556
	Adding replica 192.168.80.77:5558 to 192.168.80.77:5557
	>>> Trying to optimize slaves allocation for anti-affinity
	[WARNING] Some slaves are in the same host as their master
	M: 97bc293359e1fbaa3d37d7fc9547f95e8168a661 192.168.80.77:5555
	   slots:[0-5460] (5461 slots) master
	M: 94a7d264c4d93642dee1079203add2c7dde51742 192.168.80.77:5556
	   slots:[5461-10922] (5462 slots) master
	M: 4ea4b4d24be612e223f0fd1e2db61bd757130f4f 192.168.80.77:5557
	   slots:[10923-16383] (5461 slots) master
	S: a56b4edece031fd70347fd8677058237659ed7ae 192.168.80.77:5558
	   replicates 94a7d264c4d93642dee1079203add2c7dde51742
	S: 1d15dbd61215c9b7b29cd9917ae6c7b1cdc6684b 192.168.80.77:5559
	   replicates 4ea4b4d24be612e223f0fd1e2db61bd757130f4f
	S: bc3bf4315d5628b6ab4d9431eaada3b2448a1cd3 192.168.80.77:5560
	   replicates 97bc293359e1fbaa3d37d7fc9547f95e8168a661
	Can I set the above configuration? (type 'yes' to accept): yes
	>>> Nodes configuration updated
	>>> Assign a different config epoch to each node
	>>> Sending CLUSTER MEET messages to join the cluster
	Waiting for the cluster to join
	....
	>>> Performing Cluster Check (using node 192.168.80.77:5555)
	M: 97bc293359e1fbaa3d37d7fc9547f95e8168a661 192.168.80.77:5555
	   slots:[0-5460] (5461 slots) master
	   1 additional replica(s)
	S: 1d15dbd61215c9b7b29cd9917ae6c7b1cdc6684b 192.168.80.77:5559
	   slots: (0 slots) slave
	   replicates 4ea4b4d24be612e223f0fd1e2db61bd757130f4f
	S: bc3bf4315d5628b6ab4d9431eaada3b2448a1cd3 192.168.80.77:5560
	   slots: (0 slots) slave
	   replicates 97bc293359e1fbaa3d37d7fc9547f95e8168a661
	M: 4ea4b4d24be612e223f0fd1e2db61bd757130f4f 192.168.80.77:5557
	   slots:[10923-16383] (5461 slots) master
	   1 additional replica(s)
	S: a56b4edece031fd70347fd8677058237659ed7ae 192.168.80.77:5558
	   slots: (0 slots) slave
	   replicates 94a7d264c4d93642dee1079203add2c7dde51742
	M: 94a7d264c4d93642dee1079203add2c7dde51742 192.168.80.77:5556
	   slots:[5461-10922] (5462 slots) master
	   1 additional replica(s)
	[OK] All nodes agree about slots configuration.
	>>> Check for open slots...
	>>> Check slots coverage...
	[OK] All 16384 slots covered.
	[root@redisCluster bin]#

查看执行日志：

	55主节点，对应59从节点
	56主节点，对应60从节点
	57主节点，对应58从节点

在这里插入图片描述

在这里插入图片描述
查看node.conf，了解所有的节点以及槽的对应关系
在这里插入图片描述

命令客户端连接集群，并进行set/get操作

	./redis-cli -h 127.0.0.1 -p 5555 -c
	注意：-c 表示是以redis集群方式进行连接

在这里插入图片描述
不管存储的数据在那个槽上，最终都将定位到相应的节点上去。

查看集群状态（需要先登陆）

在这里插入图片描述

二、JedisCluster

JedisCluster是Jedis根据RedisCluster的特性提供的集群智能客户端

	JedisCluster为每个节点创建连接池，并跟节点建立映射关系缓存（Cluster slots）
	JedisCluster将每个主节点负责的槽位一一与主节点连接池建立映射缓存
	JedisCluster启动时，已经知道key,slot和node之间的关系，可以找到目标节点
	JedisCluster对目标节点发送命令，目标节点直接响应给JedisCluster

如果JedisCluster与目标节点连接出错，则JedisCluster会知道连接的节点是一个错误的节点此时节点返回moved异常给JedisCluster

JedisCluster会重新初始化slot与node节点的缓存关系，然后向新的目标节点发送命令，目标命令执行命令并向JedisCluster响应

如果命令发送次数超过5次，则抛出异常"Too many cluster redirection!"

在这里插入图片描述

在这里插入图片描述

在这里插入图片描述

demo下载地址： JedisCluster


三、扩容（添加主节点redisMaster4和redisSlave4到当前集群）

先创建redisMaster4节点 （无数据）

在这里插入图片描述

复制配置文件 redis.conf

在这里插入图片描述

修改 redis.conf 文件

	# 1. 设置端口
	port 5562
	
	# 2. 将`daemonize`由`no`改为`yes`
	daemonize yes
	
	# 3. 默认绑定的是回环地址，默认不能被其他机器访问
	# bind 127.0.0.1
	
	# 4. 是否开启保护模式，由yes该为no
	protected-mode no 
	
	# 5. 开启集群模式
	cluster-enabled yes

复制从节点redisSlave4：

在这里插入图片描述

启动新添加的主节点redisMaster4：

在这里插入图片描述

进入集群中的某一个主节点的客户端进行节点添加：添加新节点,并启动

	./redis-cli --cluster add-node 192.168.80.77:5561  192.168.80.77:5555

在这里插入图片描述

查看集群结点发现7007已添加到集群中

	hash槽重新分配（数据迁移）
	添加完主节点需要对主节点进行hash槽分配，这样该主节才可以存储数据。
	查看集群中槽占用情况，redis集群有16384个槽，集群中的每个结点分配自已槽，通过查看集群结点可以看到槽占用情况。

在这里插入图片描述

给刚添加的7007结点分配槽

	第一步：连接上集群（连接集群中任意一个可用结点都行）
		./redis-cli --cluster reshard 192.168.127.128:5561

	第二步：输入要分配的槽数量
		How many slots do you want to move (from 1 to 16384)? 3000
		输入：3000，表示要给目标节点分配3000个槽


	第三步：输入接收槽的结点id
		What is the receiving node ID?
		输入：50b073163bc4058e89d285dc5dfc42a0d1a222f2
		PS：这里准备给7007分配槽，通过cluster nodes查看7007结点id为：
				50b073163bc4058e89d285dc5dfc42a0d1a222f2


	第四步：输入源结点id
		Please enter all the source node IDs.
		Type 'all' to use all the nodes as source nodes for the hash slots.
		Type 'done' once you entered all the source nodes IDs.


	第五步：输入yes开始移动槽到目标结点id
		输入：yes

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

添加从节点，添加redisSlave4从结点，将redisSlave4作为redisMaster4的从结点

	./redis-cli --cluster add-node 新节点的ip和端口  旧节点ip和端口 --cluster-slave --cluster-master-id 主节点id
启动新得从节点

在这里插入图片描述

添加redisSlave4从结点，将redisSlave4作为redisMaster4的从结点
	./redis-cli --cluster add-node 192.168.80.77:5562 192.168.80.77:5561 --cluster-slave --cluster-master-id a42ac5608328fd997732dd577029c9f91c844512

在这里插入图片描述

查看：

在这里插入图片描述

搭建完毕，后续会更新关于redis更细致得内容

穿城大饼
关注
  • 1
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
RedisCluster集群扩容
qq_32486597的博客
01-27 896
整个集群运行正常，三个master节点和三个slave节点，8001端口的实例节点存储0-5460这些hash槽，8002端口的实例节点存储5461-10922这些hash槽，8003端口的实例节点存储10923-16383这些hash槽，这三个master节点存储的所有hash槽组成redis集群的存储槽位，slave点是每个主节点的备份从节点，不显示存储槽位！的add-node命令新增一个主节点8007(master)，前面的ip:port为新增节点，后面的ip:port为集群中已存在的节点。
Redis集群Cluster搭建
世界既不黑也不白，而是一道精致的灰。
08-01 943
redis-cli -h 192.168.1.5 -p 6379 cluster nodes 验证成功信息如下。当我们再次设置时，集群会根据CRC计算改数据存放到那个槽位，集群存在脏数据需要再三台Master执行以下三个命令。在集群链接模式下，能访问到所有节点所有槽位的数据。三个集群节点，每个节点有个副本节点备份数据。设置后查看节点信息，成功画面如下。如果遇到【Error】如下。
【NoSQL数据库】Redis Cluster集群（含redis集群扩容脚本）
最新发布
翡翠泪滴的博客
06-11 1340
所以我们同样也有对 Redis 数据分片的需求，所谓分片就是把一份大数据拆分成多份小数据，在 3.0 之前，我们只能通过构建多个 redis 主从节点集群，把不同业务数据拆分到不冉的集群中，这种方式在业务层需要有大量的代码来完成数据分片、路由等工作，导致维护成本高、增加、移除节点比较繁琐。比如平时非活动期间访问量不会很大，使用三主三从就可以，618、双十一期间，大促活动时候，这种访问量很高的，这个时候，就需要我们对Redis集群进行扩容了，当活动过后，流量下来会，我们又要进行缩容。
redis cluster集群搭建及扩容
零一的博客
07-19 394
阿里云Centos7.4redis5.05端口号分别为：7001~7006RedisCluster最少需要三台主服务器，三台从服务器。
Redis集群（cluster模式）搭建
Microhoo_苏福的博客
05-08 6524
Redis集群（cluster模式）搭建
Redis cluster集群扩容缩容原理
hellozhxy的博客
10-19 1589
1. Redis Cluster集群扩容 1.1 扩容原理 redis cluster可以实现对节点的灵活上下线控制 3个主节点分别维护自己负责的槽和对应的数据，如果希望加入一个节点实现扩容，就需要把一部分槽和数据迁移和新节点 每个master把一部分槽和数据迁移到新的节点node04 1.2 扩容过程 准备新节点 准备两个配置文件redis_6379.conf和redis_6380.conf daemonize yes port 6379
Redis Cluster 集群搭建以及扩缩容
叱咤少帅的博客
09-20 293
Redis Cluster
docker-redis-cluster:一个 Redis 集群 Docker 镜像
05-29
docker-redis-cluster Redis 集群 Docker 映像。 此图像用于测试环境。 请勿将其用于生产。用法启动集群。 它将启动 6 个 Redis 服务器，监听7000~7005端口和一个主管以确保所有服务器都启动。 在所有服务器启动后，...
redis-cluster-operator:Redis Cluster Operator在Kubernetes上创建和管理Redis集群
05-03
redis-cluster-operator 概述 Redis Cluster Operator在Kubernetes上管理 。 操作员本身是用。 每个主节点及其从节点都由statefulSet管理，为每个statefulSet创建一个无头svc，并为所有节点创建clusterIP服务。 ...
tomcat-cluster-redis-session-manager:Tomcat集群Redis会话管理器Java客户端
05-11
Tomcat集群Redis会话管理器 Redis会话管理器是可插入的。 它将会话存储到Redis中，以便在Tomcat服务器群集之间轻松分配HTTP请求。 在这里，会话被实现为非粘性的（意味着，每个请求都可以转到集群中的任何服务器，...
resty-redis-cluster：Redis集群的Openresty lua客户端
02-03
《深入理解resty-redis-cluster：Openresty Lua中的Redis集群客户端》 在现代Web服务开发中，数据存储和缓存扮演着至关重要的角色。Redis作为一款高性能的键值存储系统，广泛应用于缓存、消息队列等领域。而...
redis-py-cluster:官方redis集群的Python集群客户端。 Redis 3.0+
04-28
该客户端提供了Redis 3.0中添加的Redis集群客户端。 该项目是antirez的redis-rb-cluster的移植版，具有许多附加功能。 原始资源可以在找到 分支master将始终包含已从Pull Requests中合并的最新不稳定/开发代码。 ...
搭建4主4从的redis集群
wyysblack的博客
07-01 722
搭建4主4从的redis集群 在203 和204两台服务器上搭建4主4从的redis集群(203,204为两台服务器ip，即所要搭建redis集群的服务器的ip，不知道的可用命令ifconfig查看) 注：集群搭建是在单机安装完成后进行的 一、前期准备 .203上进行如下操作 cp ./src/redis-trib.rb ./bin mkdir redis-cluster cd redis-cluster/ mkdir 6380 6381 6382 6383 将单机redis.conf复制到刚创建的6
tinyxml 读取文本节点_TinyXML读取xml文件
weixin_30552495的博客
01-30 476
TinyXML读取xml文件2020-05-19编程之家收集整理的这篇文章主要介绍了TinyXML读取xml文件，编程之家小编觉得挺不错的，现在分享给大家，也给大家做个参考。例子 xml 内容： 电视剧 电影 以下为示例代码，buffer 中保存着上面例子的 xml 内容：voidCxmlDlg::ParseXML(){char*buffer="\\\\电视剧\电影\\";ch...
Redis cluster集群原理与配置
菊头蝙蝠的博客
05-12 3330
Redis主从复制：数据同步原理一、主从复制二、数据同步全量数据同步增量数据同步服务器 RUN ID复制偏移量 offset环形缓冲区三、何时使用全量还是增量数据同步 一、主从复制 命令：redis-server --replicaof 127.0.0.1 7001 执行该命令后，当前服务器得redis-server就会成为127.0.0.1 7001的从数据库了，使用从数据库可以使得数据更加安全。从数据库具有只读属性，不能写。 主数据库要给从数据库同步数据才能使用，下面将介绍同步数据的方式 二、数据同步
Redis Cluster集群配置
技术之路
04-25 1645
Redis Cluster 提供了一种运行 Redis 安装的方法，其中数据 在多个 Redis 节点之间自动分片。
Redis【5】- 集群设计、Cluster搭建（配置、流程、日志）
LawssssCat的博客
03-28 783
cluster配置设置加入 cluster，使其成为节点cluster配置文件名，该文件属于自动生成，仅用于快速查找文件并查询文件内容节点服务响应超时时间，用于判定该节点是否下线成功或切换为从节点master连接的 slave 最小数量cluster节点操作指令查看集群节点信息进入一个节点 redis，切换其主节点发现一个新节点，新增主节点忽略一个没有 solt 的节点手动故障转移。
Redis解决高并发问题
vengu733的博客
10-20 5678
乐观锁并非数据库加锁和阻塞的解决方案，乐观锁把读取到的旧数据保存下来，等到要对数据进行修改的时候，会先把旧数据与当前数据库数据进行比较，如果旧数据与当前数据一致，我们就认为数据库没有被并发修改过，否则就认为数据已经被其它并发请求修改，当前的事务回滚，不再修改任何数据。MySQL就提供数据库锁的解决方案，这种锁称为悲观锁。” 中的**“for update”称为更新锁**，在数据库事务执行过程中，它会锁定查询出来的数据，其他事务不能再对其进行读写，直到该事务完成才会只放锁，这样能避免数据不一致了。
算法--路径总和
CodersCoder的博客
09-08 573
描述 给定一个二叉树和一个目标和，判断该树中是否存在根节点到叶子节点的路径，这条路径上所有节点值相加等于目标和。 说明: 叶子节点是指没有子节点的节点。 示例 分析 从根节点开始，使用递归，判断左节点或者右节点到叶子节点是否存在sum-root.val即可。 实现 class Solution { public boolean hasPathSum(TreeNode root, int sum) { if (root == null) { return fa
redis-plus-plus sw::redis::RedisCluster 订阅消息 异步处理，demo有吗
05-24
是的，`redis-plus-plus`库是一个很好用的C++ Redis客户端库，它支持Redis Cluster。关于订阅消息异步处理的Demo，我提供以下代码供参考： ```cpp #include <sw/redis++/redis++.h> int main() { // 连接Redis Cluster sw::redis::RedisCluster redisCluster{ "tcp://127.0.0.1:6379", sw::redis::RedisCluster::ClusterType::kStatic }; // 订阅某个频道 auto sub = redisCluster.subscriber(); sub.subscribe("my_channel", [](const std::string& topic, const std::string& msg) { std::cout << "Received message: " << msg << std::endl; }); // 异步处理消息 auto io = redisCluster.get_event_loop(); io->run_every(std::chrono::milliseconds(1), [&sub]() { sub.consume(); }); // 休眠一段时间等待消息 std::this_thread::sleep_for(std::chrono::seconds(10)); // 取消订阅 sub.unsubscribe("my_channel"); return 0; } ``` 这段代码中，我们首先连接到Redis Cluster，然后订阅了一个名为`my_channel`的频道，并在回调函数中打印出接收到的消息。接着，我们使用`get_event_loop()`函数获取事件循环对象，然后使用`run_every()`函数每隔1毫秒轮询一次Redis服务器，以便异步处理消息。最后，我们使用`unsubscribe()`函数取消订阅并退出程序。 注意，这段代码需要在支持C++11的编译器上编译运行，并且需要在Redis Cluster中发布一些消息才能测试。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

穿城大饼

你的鼓励将是我最大的动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值