Redis（11）集群搭建

最新推荐文章于 2023-07-18 17:43:24 发布
最新推荐文章于 2023-07-18 17:43:24 发布
阅读量1.1k 收藏 3
点赞数 1
分类专栏： Redis 文章标签： redis 数据库 缓存
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/bilal_0/article/details/130405951
版权

集群

Cluster集群搭建步骤：

Redis集群是Redis提供的一个核心特性，可以将多个Redis实例组成一个分布式数据库，实现数据的自动分片和负载均衡。在Redis集群中，数据会被分成16384个槽位，每个槽位都会被分配给不同的Redis实例，当客户端发送数据请求时，Redis集群会自动将请求路由到相应的Redis实例，从而实现数据的分布式存储和查询。

使用Redis集群可以提高系统的性能和可靠性，同时也可以提供更灵活的扩展方案，满足不同的业务需求。但是需要注意的是，Redis集群需要对数据进行分片，可能会导致一些操作的复杂性和性能问题，需要根据具体业务场景进行评估和选择。

第一步 创建节点

1）通过utils路径下install_server.sh执行文件创建6个不同的redis节点，

端口号分别为:6379、6380、6381、8362、6383、6384

注意事项：

如果搭集群之前设置过关于主从复制或者哨兵去配置文件注释掉关于replicaof指令及相关配置，在Redis集群模式下,多个节点的是水平扩展关系。所以replicaof指令在集群模式下是无效的,会产生replicaof directive not allowed in cluster mode的错误。

  1. 如果各个节点原本有存储数据，则先将各个节点的数据文件清空
  2. 如果以前在配置文件中设置过replicaof指令及相关配置，则先将删除（注释）replicaof指令及相关配置，在Redis集群中,主从关系是由集群自动管理的,无法手动设置。因此,使用replicaof命令会导致报replicaof directive not allowed in cluster mode的错误

第二部 修改配置文件

2）修改6个redis节点的配置文件

[root@bogon utils]# cd /etc/redis
[root@bogon redis]# ll
-rw-r--r--. 1 root root 84755 Apr 25 09:11 6379.conf
-rw-r--r--. 1 root root 84821 Apr 25 09:12 6380.conf
-rw-r--r--. 1 root root 84794 Apr 25 09:12 6381.conf
-rw-r--r--. 1 root root 84801 Apr 25 09:12 6382.conf
-rw-r--r--. 1 root root 84717 Apr 25 09:46 6383.conf
-rw-r--r--. 1 root root 84717 Apr 25 09:47 6384.conf

这里是一个Redis集群的配置文件示例,包含6个节点的配置:

# 节点1 
port 6379 
protected-mode no
cluster-enabled yes 
cluster-config-file nodes-6379.conf
cluster-node-timeout 15000
bind 0.0.0.0

# 节点2
port 6380 
protected-mode no
cluster-enabled yes 
cluster-config-file nodes-6380.conf  
cluster-node-timeout 15000  
bind 0.0.0.0

# 节点3
port 6381
protected-mode no
cluster-enabled yes
cluster-config-file nodes-6381.conf
cluster-node-timeout 15000  
bind 0.0.0.0

# 节点4
port 6382  
protected-mode no
cluster-enabled yes
cluster-config-file nodes-6382.conf
cluster-node-timeout 15000
bind 0.0.0.0
 
# 节点5 
port 6383
protected-mode no
cluster-enabled yes
cluster-config-file nodes-6383.conf
cluster-node-timeout 15000 
bind 0.0.0.0

# 节点6
port 6384
protected-mode no
cluster-enabled yes 
cluster-config-file nodes-6384.conf
cluster-node-timeout 15000  
bind 0.0.0.0

该配置文件包含以下资源描述:

  1. 6个节点,端口分别为6379-6384。
  2. 每个节点开启集群功能,并指定节点的集群配置文件名称为nodes-端口号.conf。
  3. 设置cluster-node-timeout为15秒,如果节点间超过该时间未收到PING消息则视为下线。
  4. 绑定0.0.0.0,允许外网访问。
  5. 每个节点的配置放在单独的配置文件中,并指定文件名为nodes-端口号.conf。
  6. 执行redis-cli --cluster create命令创建集群时,需要提供所有节点地址,格式为: redis-cli --cluster create node1_host:6379 node2_host:6380 … node6_host:6384
  7. 该命令会自动执行集群初始化,将这6个节点组建为一个集群。
  8. 集群将自动选举3个主节点,并在其他节点上设置主从关系,管理数据分片和故障转移。
  9. 客户端连接任意节点即可实现对整个集群的操作

第三部 启动redis

3）启动六个节点

[root@bogon src]# ./redis-server /etc/redis/6379.conf
[root@bogon src]# ./redis-server /etc/redis/6380.conf
[root@bogon src]# ./redis-server /etc/redis/6381.conf
[root@bogon src]# ./redis-server /etc/redis/6382.conf
[root@bogon src]# ./redis-server /etc/redis/6383.conf
[root@bogon src]# ./redis-server /etc/redis/6384.conf
  • 查看各个节点是否启动成功
[root@bogon src]# ps -ef | grep redis
root        3889       1  0 09:56 ?        00:00:03 ./redis-server 0.0.0.0:6379 [cluster]
root        3895       1  0 09:56 ?        00:00:03 ./redis-server 0.0.0.0:6380 [cluster]
root        3901       1  0 09:57 ?        00:00:03 ./redis-server 0.0.0.0:6381 [cluster]
root        3907       1  0 09:57 ?        00:00:02 ./redis-server 0.0.0.0:6382 [cluster]
root        3913       1  0 09:57 ?        00:00:02 ./redis-server 0.0.0.0:6383 [cluster]
root        3919       1  0 09:57 ?        00:00:02 ./redis-server 0.0.0.0:6384 [cluster]
root        4247    2418  0 10:22 pts/0    00:00:00 grep --color=auto redis

第四步 配置集群

4）命令格式： --cluster-replicas 1 表示为每个master创建一个slave节点
注意：这里的IP为每个节点所在机器的真实IP

[root@localhost ~]# redis-cli --cluster create --cluster-replicas 1 192.168.157.128:6379 192.168.157.128:6381 192.168.157.128:6383 192.168.157.128:6380 192.168.157.128:6382 192.168.157.128:6384
>>> Performing hash slots allocation on 6 nodes...
Master[0] -> Slots 0 - 5460
Master[1] -> Slots 5461 - 10922
Master[2] -> Slots 10923 - 16383
Adding replica 192.168.157.128:6382 to 192.168.157.128:6379
Adding replica 192.168.157.128:6384 to 192.168.157.128:6381
Adding replica 192.168.157.128:6380 to 192.168.157.128:6383
>>> Trying to optimize slaves allocation for anti-affinity
[WARNING] Some slaves are in the same host as their master
M: de68dc07649bebafdc4d6d337c565c9573c4e76e 192.168.157.128:6379
   slots:[0-5460] (5461 slots) master
M: 2324ca9d5ab670d5161a7bb6ff1319e787be91ec 192.168.157.128:6381
   slots:[5461-10922] (5462 slots) master
M: f53aaa6993b10dfca37f082dc76384c222cf8e93 192.168.157.128:6383
   slots:[10923-16383] (5461 slots) master
S: 3c79a5f3eac455e3bf1bfae1893f4a8230d4664f 192.168.157.128:6380
   replicates 2324ca9d5ab670d5161a7bb6ff1319e787be91ec
S: beb288390555cc53216830d5e95484107164ccad 192.168.157.128:6382
   replicates f53aaa6993b10dfca37f082dc76384c222cf8e93
S: 5fc4cecad886d622eb16c695646b6022b19a508c 192.168.157.128:6384
   replicates de68dc07649bebafdc4d6d337c565c9573c4e76e
Can I set the above configuration? (type 'yes' to accept): yes 
>>> Nodes configuration updated
>>> Assign a different config epoch to each node
>>> Sending CLUSTER MEET messages to join the cluster
Waiting for the cluster to join
...
>>> Performing Cluster Check (using node 192.168.157.128:6379)
M: de68dc07649bebafdc4d6d337c565c9573c4e76e 192.168.157.128:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: beb288390555cc53216830d5e95484107164ccad 192.168.157.128:6382
   slots: (0 slots) slave
   replicates f53aaa6993b10dfca37f082dc76384c222cf8e93
S: 3c79a5f3eac455e3bf1bfae1893f4a8230d4664f 192.168.157.128:6380
   slots: (0 slots) slave
   replicates 2324ca9d5ab670d5161a7bb6ff1319e787be91ec
S: 5fc4cecad886d622eb16c695646b6022b19a508c 192.168.157.128:6384
   slots: (0 slots) slave
   replicates de68dc07649bebafdc4d6d337c565c9573c4e76e
M: 2324ca9d5ab670d5161a7bb6ff1319e787be91ec 192.168.157.128:6381
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: f53aaa6993b10dfca37f082dc76384c222cf8e93 192.168.157.128:6383
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@localhost ~]#
  • 查看主从关系
  • 命令格式：redis-cli --cluster check 【本台redis自己的IP】:【本台redis自己的端口】
[root@localhost ~]# redis-cli --cluster check 192.168.157.128:6379
192.168.157.128:6379 (de68dc07...) -> 0 keys | 5461 slots | 1 slaves.
192.168.157.128:6381 (2324ca9d...) -> 0 keys | 5462 slots | 1 slaves.
192.168.157.128:6383 (f53aaa69...) -> 0 keys | 5461 slots | 1 slaves.
[OK] 0 keys in 3 masters.
0.00 keys per slot on average.
>>> Performing Cluster Check (using node 192.168.157.128:6379)
M: de68dc07649bebafdc4d6d337c565c9573c4e76e 192.168.157.128:6379
   slots:[0-5460] (5461 slots) master
   1 additional replica(s)
S: beb288390555cc53216830d5e95484107164ccad 192.168.157.128:6382
   slots: (0 slots) slave
   replicates f53aaa6993b10dfca37f082dc76384c222cf8e93
S: 3c79a5f3eac455e3bf1bfae1893f4a8230d4664f 192.168.157.128:6380
   slots: (0 slots) slave
   replicates 2324ca9d5ab670d5161a7bb6ff1319e787be91ec
S: 5fc4cecad886d622eb16c695646b6022b19a508c 192.168.157.128:6384
   slots: (0 slots) slave
   replicates de68dc07649bebafdc4d6d337c565c9573c4e76e
M: 2324ca9d5ab670d5161a7bb6ff1319e787be91ec 192.168.157.128:6381
   slots:[5461-10922] (5462 slots) master
   1 additional replica(s)
M: f53aaa6993b10dfca37f082dc76384c222cf8e93 192.168.157.128:6383
   slots:[10923-16383] (5461 slots) master
   1 additional replica(s)
[OK] All nodes agree about slots configuration.
>>> Check for open slots...
>>> Check slots coverage...
[OK] All 16384 slots covered.
[root@localhost ~]#

第五步 测试

5）测试集群

测试一

主节点数据写测试
加参数 -c ，防止路由失效

[root@bogon src]# ./redis-cli -p 6381 -c
127.0.0.1:6381> get name
-> Redirected to slot [5798] located at 192.168.109.149:6380
(nil)
192.168.109.149:6380> get name
(nil)
192.168.109.149:6380>

测试一 （可选）

我们可以使用Redis提供的redis-trib.rb测试脚本。该测试脚本可以执行以下操作:

  1. 创建Redis集群。
  2. 添加节点或移除节点。
  3. 分片键slot测试。
  4. 重新分片slot。
  5. 节点迁移测试。

使用该脚本测试Redis集群的步骤如下:

  1. 下载Redis源码,该脚本在src目录下。
  2. 确保Ruby环境正常,并安装redis gem包。
  3. 启动6个Redis节点,端口从7000到7005,每个节点启用集群模式并设置节点名 myredis-n。
  4. 执行脚本,创建集群:
bash
cd src
ruby redis-trib.rb create --replicas 1 127.0.0.1:7000 127.0.0.1:7001  
127.0.0.1:7002 127.0.0.1:7003 127.0.0.1:7004 127.0.0.1:7005
  1. 添加测试用节点:
bash
ruby redis-trib.rb add-node 127.0.0.1:7006 myredis-6
  1. 移除节点测试
bash
ruby redis-trib.rb del-node 127.0.0.1:7003 myredis-3
  1. 其他测试:slots,reshard,failover等。具体参数查看redis-trib.rb脚本帮助信息。
  2. 所有测试完成后,通过shutdown命令停止每个Redis节点。

通过该测试脚本,我们可以对Redis集群在不同场景下的行为进行测试,熟悉槽位(slot)的分配规则,节点添加/移除,故障转移等机制,使我们能够更高效的设计和管理Redis集群。

bilal-abdurehim
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
redis集群搭建报错Reading the configuration file, at line 0＞＞＞ ‘(null)‘replicaof directive not allowed in
blue_show的博客
04-11 9821
redis集群搭建报错Reading the configuration file, at line 0>>> '(null)'replicaof directive not allowed in
redis集群配置
weixin_40449551的博客
01-12 459
  Redis集群 Redis主从复制的简单介绍 为了使得集群在一部分节点下线或者无法与集群的大多数节点进行通讯的情况下， 仍然可以正常运作， Redis 集群对节点使用了主从复制功能： 集群中的每个节点都有 1 个至 N 个复制品（replica）， 其中一个复制品为主节点（master）， 而其余的 N-1 个复制品为从节点（slave）。   Redis从3.0开始支持redis-...
Redis——集群搭建
weixin_54406708的博客
07-18 2148
简称：replid，数据集的标记，每一个master都有一个唯一的replid（并且slave本质上也是一个master，也会有自己的replid），当slave连接上后，master会发现slave的replid与其不相同，所以就判断为是第一次同步，就会做全量同步。但是我们回想一个点，假设单节点的sentinel挂掉之后，对一个的sentinel对微服务的保护机制就没有了。首先我们在虚拟机上三个redis的开启。我们可以清晰的了解到，redis集群默认是主节点读写都可以的操作，从节点只做读的操作。
Redis 单实例模式、Sentinel模式、Cluster模式入门
adolph09的博客
05-31 1980
Redis想必大家都或多或少有点了解，一个开源的内存数据库，支持持久化，支持各种过期策略，可以用作缓存，消息代理。 像一些Redis安装的细节在这里就不说了，这里主要总结一下，Redis运行的几种模式，这里有参考一些其他文章，参考的文章我会在文章结尾贴上链接。 Redis支持单实例运行，主从复制，以及基于主从复制的哨兵模式，以及集群模式。 在单实例下，若节点失败，则服务无法从redis获取数据，如果开启了主从复制，则在master节点失败后可以手动把slave节点切换为master节点，当然这中间会有一定的
Redis安装 主从 哨兵模式 cluster
qq_34218330的博客
10-21 1363
单机安装： 1.安装 tar -zxvf redis-3.2.11.tar.gz cd redis-3.2.11 make make install vi redis.conf #bind 127.0.0.1 #注释掉 protected-mode no #保护模式 daemonize yes #后台进程启动 2.设置密码 config set requirepass te...
Redis主从配置
Bai_guo的博客
05-16 548
1.一直说端口不被允许，改配的都配置了 replicaof directive not allowed in cluster mode，网上喊我改的都没用 从节点的redis.conf有问题，找不出来，重新cp了主节点的配置在配置port等等就好了，之后报错，可以看你自己配置的日志，启动成功日志如下 最后，我安装这些东西，最大的感悟是，多看log少百度。 ...
Redis分布式集群搭建
02-24
上图蓝色为redis集群的节点。节点之间通过ping命令来测试连接是否正常，节点之间没有主区分，连接到任何一个节点进行操作时，都可能会转发到其他节点。节点之间会定时的互相发送ping命令，测试节点的健康状态，当...
redis3.0.0集群搭建
09-02
redis集群搭建所必须的软件,参考教程 https://blog.csdn.net/haobindayi/article/details/82290972
redis哨兵集群搭建过程
03-26
在docker环境下一步一步描述了整个搭建过程，主要包括服务器划分、单节点搭建、哨兵安装、密码认证等操作，你值得拥有
redis集群搭建手册.docx
02-18
redis集群搭建手册
redis集群与主从复制的关系
ghj751105352的专栏
08-03 1778
今天，想在6个redis服务的集群上，配置固定的主从复制。因为之前装集群的时候，发现master和slave是随机的。 一开始，redis.conf的内容如下： ort 7000 cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes slaveof 127
Redis集群启动报错 *** FATAL CONFIG FILE ERROR *** Reading the configuration file, at line 1374 ＞＞＞ ‘
惊执
08-03 9156
Redis集群启动报错 *** FATAL CONFIG FILE ERROR *** Reading the configuration file, at line 1374 >>> 'replicaof 192.168.10.129 6381' replicaof directive not allowed in cluster mode 去redis的配置文件中把最后几行删了就可以了 # Generated by CONFIG REWRITE replicaof 192.168
记录Windows部署Redis5.0.14版本Cluster集群
欢迎来到我的博客，这里记录了我学习、实践和探索过程中的心得体会！
06-08 1247
Windows部署Redis5.0.14版本Cluster集群
Redis之分布式搭建及使用快速入门
kylin
04-17 2504
文章目录1、为什么需要用redis集群2、主从复制a、主从复制配置3、可用性保证之哨兵机制(Sentinel)4、redis分布式方案a、客户端Shardingb、代理Proxy之Twemproxyc、代理Proxy之Codisd、Redis Clustere、分片方案总结 1、为什么需要用redis集群 老套路，性能、扩展、可用性。下面几个说法就当故事听听了。 性能 第一个是因为Redis...
slaveof directive not allowed in cluster mode
彪锅锅来啦
09-06 9630
设置slaveof <masterIP> <masterport>  启动该redis 报错   slaveof directive not allowed in cluster mode 将 cluster-enabled yes    设置为   no 重启即可
linux安装redis、搭建三主三从cluster集群
dgh112233的博客
09-20 1133
安装最新版本redis，首先查看redis最新版本，上官网：https://redis.io/ 截止2019.09.20为止，最新版本为 redis-5.0.5.tar.gz 。 打开linux终端，进入某个目录，执行下载安装包指令：wget http://download.redis.io/releases/redis-5.0.5.tar.gz 解压缩安装包：tar -zxfredis-...
【Redis-6.0.8】Redis主从复制的源码分析(上）
Edidaughter的博客
04-29 871
0.阅读与引用 menwen-Redis 复制(replicate)源码详细解析 巨大泰迪的Redis的主从复制 chenssy的Redis主从复制 《Redis开发与运维》第6章 查看自己的电子书 《Redis5 设计与源码分析》第21章 主从复制链接 《Redis 设计与实现》 第15章 复制 《Redis深度历险》原理8 主从同步 查看电子书 黄健宏的3.0版本注释 1.源码分析 1.1redisServer结构体中与主从复制相关的成员变量 struct redisServ..
快速搭建redis5.0集群
热门推荐
嘎嘎的博客
10-25 3万+
redis主从集群搭建 redis简单主从结构如上图所示，主从结构的redis由主节点负责读写操作，从节点负责读操作，这里做搭建介绍，具体工作原理不分析。 下载安装redis压缩包 解压压缩包，进入redis-5.0文件夹，运行命令./make install安装redis 安装完成进入redis-5.0/src文件夹，执行./redis-server 指定配置文件 即可启动r...
Redis集群（cluster模式）搭建
Microhoo_苏福的博客
05-08 6456
Redis集群（cluster模式）搭建
redis docker 集群搭建
最新发布
04-03
Redis是一个开源的内存数据存储系统，常用于缓存、消息队列等场景。Docker是一个容器化平台，可以将应用程序及其依赖项打包成一个独立的容器，方便部署和管理。搭建Redis Docker集群可以提高系统的可用性和性能。 以下是Redis Docker集群搭建的步骤： 1. 安装Docker：首先需要在服务器上安装Docker，可以根据操作系统类型选择相应的安装方式。 2. 创建Docker网络：使用Docker命令创建一个自定义的网络，用于容器之间的通信。例如，可以执行以下命令创建名为"redis-net"的网络： ``` docker network create redis-net ``` 3. 创建Redis配置文件：在本地创建一个目录，用于存放Redis配置文件。在该目录下创建一个名为"redis.conf"的文件，并添加以下内容： ``` bind 0.0.0.0 protected-mode no cluster-enabled yes cluster-config-file nodes.conf cluster-node-timeout 5000 appendonly yes ``` 4. 创建Redis容器：使用Docker命令创建多个Redis容器，并将它们连接到之前创建的网络中。例如，可以执行以下命令创建3个Redis容器： ``` docker run -d --name redis1 --net redis-net -v /path/to/redis.conf:/usr/local/etc/redis/redis.conf redis redis-server /usr/local/etc/redis/redis.conf docker run -d --name redis2 --net redis-net -v /path/to/redis.conf:/usr/local/etc/redis/redis.conf redis redis-server /usr/local/etc/redis/redis.conf docker run -d --name redis3 --net redis-net -v /path/to/redis.conf:/usr/local/etc/redis/redis.conf redis redis-server /usr/local/etc/redis/redis.conf ``` 5. 创建Redis集群：使用Redis的官方工具"redis-trib.rb"来创建Redis集群。首先需要进入其中一个Redis容器，执行以下命令安装工具： ``` docker exec -it redis1 bash apt-get update apt-get install -y ruby gem install redis ``` 6. 初始化集群：在Redis容器中执行以下命令初始化集群： ``` redis-trib.rb create --replicas 1 <ip1>:<port1> <ip2>:<port2> <ip3>:<port3> ``` 其中，<ip1>:<port1>、<ip2>:<port2>、<ip3>:<port3>分别为三个Redis容器的IP地址和端口号。 至此，Redis Docker集群搭建完成。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

bilal-abdurehim

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值