Redis集群节点扩容

最新推荐文章于 2024-08-31 18:13:00 发布
置顶 最新推荐文章于 2024-08-31 18:13:00 发布
阅读量949 收藏 3
点赞数 1
分类专栏： 数据库 文章标签： redis
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/ml908/article/details/105049137
版权

文章目录

案列概述

​ 某电商大型项目，由于业务大规模升级。项目中的前置缓存节点，已经不能满足当前的业务需求，现在对redis集群扩容一套redis主备节点，对于实际的生产环境，一般规划是在晚上2凌晨12点做操作，操作之前，提前做好redis安装部署，晚上凌晨12点左右，业务量比较少，影响范围比较少，redis对接的底层数据库，先要锁库、锁表，不产生业务流数据，这样redis集群可产生的影响因素较小。

案例拓扑图：
在这里插入图片描述

==前期已搭建 redis集群，详见https://blog.csdn.net/ML908/article/details/105045768 ==

软件包

百度网盘链接：https://pan.baidu.com/s/1nAlvkBR7NS0speietzeDvA
提取码：rqul

redis节点扩容

扩容流程：
1、部署2台redis节点（主、备）
2、将2台redis节点添加到集群中
3、使用redis-cli启动自动迁移
4、迁移后检测各个节点槽的均衡性
5、将扩容的主节点添加从节点

1、节点基础环境（两台操作一致）

#关闭防火墙，关闭核心防护

[root@master4 yum.repos.d]# systemctl stop firewalld
[root@master4 yum.repos.d]# setenforce 0
[root@master4 yum.repos.d]# vim /etc/selinux/config
SELINUX=disabled

#挂载光盘

[root@master4 ~]# vim /etc/fstab
/dev/cdrom	/mnt	iso9660	defaults	0 0

[root@master4 ~]# mount -a
[root@master4 ~]# df -hT
文件系统       类型      容量  已用  可用 已用% 挂载点
/dev/sda2      xfs        20G  3.3G   17G   17% /
devtmpfs       devtmpfs  898M     0  898M    0% /dev
tmpfs          tmpfs     912M     0  912M    0% /dev/shm
tmpfs          tmpfs     912M   17M  895M    2% /run
tmpfs          tmpfs     912M     0  912M    0% /sys/fs/cgroup
/dev/sda5      xfs        10G   37M   10G    1% /home
/dev/sda1      xfs       6.0G  174M  5.9G    3% /boot
tmpfs          tmpfs     183M   28K  183M    1% /run/user/0
tmpfs          tmpfs     183M  4.0K  183M    1% /run/user/42
/dev/sr0       iso9660   4.3G  4.3G     0  100% /mnt

#搭建yum仓库

[root@master4 ~]# cd /etc/yum.repos.d
[root@master4 yum.repos.d]# mkdir backup
[root@master4 yum.repos.d]# mv C* backup
[root@master4 yum.repos.d]# cp -p backup/CentOS-Base.repo local.repo
root@master4 yum.repos.d]# vim local.repo
[centos]
name=CentOS
baseurl=file:///mnt
gpgcheck=0
enabled=1

[root@master4 yum.repos.d]# yum clean all
[root@master4 yum.repos.d]# yum makecache
2、安装redis（2台同时安装）

#安装编辑器

[root@master4 ~]# yum install -y gcc gcc-c++ make pcre pcre-devel expat-devel bash-completion

#挂载软件包

[root@master4 ~]# mkdir /a
[root@master4 ~]# mount.cifs //192.168.100.1/bao /a
[root@master4 ~]# cd /a/Y2C7

#解压并编译安装redis

[root@master4 Y2C7]# tar xzvf redis-5.0.4.tar.gz -C /opt
[root@master4 Y2C7]# cd /opt/redis-5.0.4/
[root@master4 redis-5.0.4]# make
[root@master4 redis-5.0.4]# make PREFIX=/usr/local/redis install		//安装过程中，更改安装路径可以用make PRRFIX=安装路径 install

#设置Redis相关配置文件

[root@master4 redis-5.0.4]# ln -s /usr/local/redis/bin/* /usr/local/bin/

[root@master4 redis-5.0.4]# cd /opt/redis-5.0.4/utils/

[root@master4 utils]# ./install_server.sh 
Welcome to the redis service installer
This script will help you easily set up a running redis server
Please select the redis port for this instance: [6379] 			//回车
Selecting default: 6379
Please select the redis config file name [/etc/redis/6379.conf] 	//回车
Selected default - /etc/redis/6379.conf
Please select the redis log file name [/var/log/redis_6379.log] 	//回车
Selected default - /var/log/redis_6379.log
Please select the data directory for this instance [/var/lib/redis/6379] 		//回车
Selected default - /var/lib/redis/6379
Please select the redis executable path [/usr/local/bin/redis-server] /usr/local/redis/bin/redis-server 		//手动输入

Selected config:
Port           : 6379
Config file    : /etc/redis/6379.conf       #配置文件路径
Log file       : /var/log/redis_6379.log    #日志文件路径
Data dir       : /var/lib/redis/6379                   #数据文件路径
Executable     : /usr/local/redis/bin/redis-server       #可执行文件路径
Cli Executable : /usr/local/bin/redis-cli               #客户端命令行工具
Is this ok? Then press ENTER to go on or Ctrl-C to abort.		//回车
Copied /tmp/6379.conf => /etc/init.d/redis_6379
Installing service...
Successfully added to chkconfig!
Successfully added to runlevels 345!
/var/run/redis_6379.pid exists, process is already running or crashed
Installation successful!
[root@master4 utils]# netstat -lnupt | grep redis			//查看redis状态
tcp        0      0 127.0.0.1:6379          0.0.0.0:*               LISTEN      9318/redis-server 1

#修改各个redis主机的6379.conf配置文件

[root@master4 utils]# vim /etc/redis/6379.conf
bind 192.168.100.47                //删除原来的127.0.0.1 然后添加各主机对应的IP地址
logfile /var/log/redis_6379.log          #不需要改
daemonize yes                                     #不需要改
port 6379                                              #不需要改
cluster-enabled yes                              //前面的#号去掉
cluster-config-file nodes-6379.conf     //前面的#号去掉
cluster-node-timeout 15000                 //前面的#号去掉
cluster-require-full-coverage no           //前面的#号去掉 yes改成no
appendonly yes								//开启aof持久化	no改成yes

#2台redis服务器启动redis服务

[root@master4 utils]# /etc/init.d/redis_6379 restart
[root@master4 utils]# netstat -antp |grep  6379      监听地址都是当前本机地址
3、创建集群

在192.168.100.47/192.168.100.48服务器上。创建群集

[root@master4 utils]# yum -y install ruby rubygems      //安装编排工具

上传redis-3.2.0.gem 这个包到/opt目录下执行下面命令

[root@master4 utils]# cd /opt
[root@master4 opt]# gem install redis --version 3.2.0

将2台redis节点添加到集群中、并确认集群状态信息（进入节点192.168.100.41）

[root@master1 ~]# redis-cli --cluster add-node 192.168.100.47:6379 192.168.100.41:6379
[root@master1 ~]# redis-cli --cluster add-node 192.168.100.48:6379 192.168.100.41:6379

[root@master1 ~]# redis-cli -h 192.168.100.41 -p 6379
192.168.100.41:6379> cluster nodes		//查看集群节点信息，192.168.100.47/ 192.168.100.48都加入进去了

在这里插入图片描述

4、使用redis-cli启动自动迁移

##整理节点信息（各个节点分别对用的IDS）##

主机名节点的IDS信息IP地址槽位
master14184c078593ec9f02b374283c98274f54dd18c2c192.168.100.415460-0=5460
master22be121eb6c279b7dd6a8977fc59013b237a449a0192.168.100.4210922-5461=5461
master3617b38b3d01d99fd7639936dbc730dace47540ca192.168.100.4316383-10923=5460
master423ce498779c29b890dea4294868d6495cf00008c192.168.100.44
master5ab4ab1be5bc881f9c4efdefc9075c7e3b26af41b192.168.100.45
master6706eed767fcde670111c5ffc93d1c5b1f9397d08192.168.100.46
master732062af99bec803b99ede31f0561ad9a11d27379192.168.100.47
master85b13f0d690359fa762be9192c5962be249ea72ba192.168.100.48

根据redis 槽位分析，一共有16384个槽位，如果分4个配套节点：每个节点是4096个槽位

[root@master1 ~]# redis-cli --cluster reshard 192.168.100.41:6379		//设置自动迁移
How many slots do you want to move (from 1 to 16384)? 4096	//要迁移多少个槽位

What is the receiving node ID? 32062af99bec803b99ede31f0561ad9a11d27379  
//迁移到哪个节点，这里是47，填写对应的IDS
Please enter all the source node IDs.
Type 'all' to use all the nodes as source nodes for the hash slots.
Type 'done' once you entered all the source nodes IDs.

#要求输入源节点的IDS，这里输入41,42,43三个master节点，输入done表示结束

Source node #1: 4184c078593ec9f02b374283c98274f54dd18c2c
Source node #2: 2be121eb6c279b7dd6a8977fc59013b237a449a0
Source node #3: 617b38b3d01d99fd7639936dbc730dace47540ca
Source node #4: done

Do you want to proceed with the proposed reshard plan (yes/no)?yes		
//最后会有一个迁移方案，输入yes表示同意，迁移开始。输入no表示不同意，重新设置迁移方案。

#确认是否迁移成功

[root@master1 ~]# redis-cli -h 192.168.100.41 -p 6379
192.168.100.41:6379> cluster nodes

在这里插入图片描述
至此，主节点已经迁移完成了

5、迁移后检测各个节点槽的均衡性

[root@master1 ~]# redis-cli --cluster rebalance 192.168.100.41:6379
在这里插入图片描述
可以看出，节点负责的槽数据差异在2%以内，因此槽分配均衡

6、为扩容的主节点添加从节点
root@master1 ~]# redis-cli -h 192.168.100.48 -p 6379
192.168.100.48:6379> cluster replicate 32062af99bec803b99ede31f0561ad9a11d27379		//要和哪个同步，这里是需要和47主节点进行同步，填写对应的IDS
OK

#查看集群节点信息

192.168.100.48:6379> cluster nodes

在这里插入图片描述

7、平衡各节点槽数量

[root@master1 ~]# redis-cli --cluster rebalance --cluster-threshold 1 192.168.100.41:6379
在这里插入图片描述
可以看出，节点负责的槽数据差异在1%以内，因此槽分配很均衡

ML908
关注
专栏目录
Redis 学习笔记（十五）Redis Cluster 集群扩容与收缩
men_wen的博客
06-07 3万+
Redis Cluster 集群伸缩1. 伸缩原理Redis提供了灵活的节点扩容和收缩方案。在不影响集群对外服务的情况下，可以为集群添加节点进行扩容也可以对下线节点进行缩容。我们在Redis Cluster 介绍与搭建这篇文章中搭建了一个三主三从的Redis集群（如下图所示）。在搭建 Redis Cluster 通信流程剖析这篇博客中根据源码详细剖析了搭建集群的流程。本篇博客要讲的是，Redis集群
redis集群扩容和缩容_Full-Stack-Notes
weixin_39958025的博客
01-17 311
Redis Cluster一、集群模式介绍1.1 数据分区1.2 节点通讯1.3 请求路由1.4 故障发现1.5 故障恢复二、集群模式搭建2.1 节点配置2.2 启动集群2.3 集群完整性校验2.4 关于版本差异的说明三、集群伸缩3.1 集群扩容3.2 集群缩容一、集群模式介绍Redis Cluster 是 Redis 官方提供的分布式实现，在 Redis 3.0 版本正式推出，通过集群模式可以扩...
redis集群扩容
Red_Flag_的博客
01-29 1734
1.创建docker容器； #新建docker容器 docker create --name redis-node-1 --net host --privileged=true -v ./docker/redis/data/redis_1:/data redis:6.0.8 --cluster-enabled yes --appendonly yes --port 6381 docker create --name redis-node-2 --net host --privileged=true -v .
Redis进阶(五):集群
最新发布
kaiwawah的博客
08-31 1250
1.节点之间通过心跳包进行通信，心跳包包含每个节点持有什么slots（槽位），槽位使用位图这样的数据结构表示的，16384 （16k）是2kb字节的空间，redis留出2kb的空间来保存槽位，如果slots更多了，就需要更大的空间去保存槽位。因为是周期性通信*（非常频繁，占用带宽）2.另⼀⽅⾯,Redis集群⼀般不建议超过1000个分⽚.所以16k对于最⼤1000个分⽚来说是⾜够⽤的,同时也会使对应的槽位配置位图体积不⾄于很⼤.
redis 集群扩容
duxin_csdn的博客
02-21 1234
#目录 1、集群扩容 2、添加集群主节点 3、添加集群从节点 4、扩容集群问题 #详细过程 ###1、集群扩容 添加一个新节点的过程基本上就是，添加一个空节点，然后，如果是作为主节点则移动一些哈希槽进去， 如果是从节点则设置其作为某个节点的副本即可。 添加空节点方式参考《Redis环境搭建说明》里提到的方式即可。 添加完空节点，并启动，然后我们先来添加这个空节点作为主节点加入集群。 参考： ht...
Redis 7.x 系列【26】集群模式动态扩容、动态缩容
记录知识、锤炼自我
07-22 1352
Redis 集群支持动态增加节点实现扩容，提高集群容量和数据处理能力，接下来演示将之前三主三从扩容为四主四从。Redis 集群支持动态删除节点实现缩容，从集群中移除节点，将分配给该节点的哈希槽移动到其他现有节点上。接下来演示将上面的四主四从恢复为三主三从。
Redis集群--扩容的过程(原理)
IT利刃出鞘的博客
02-07 4177
本文介绍Redis的Cluster集群扩容的过程(原理)。
Redis集群扩容与收缩和群集数据迁移
Mr.李的博客
05-17 2965
文章目录前言redis节点扩容在redis1,上准备新节点启动新节点配置使新节点加入群集在其他的master上分配槽redis节点收缩忘记节点（下线）移除后验证是否成功redis 数据导入导出（迁移）需求背景redis-migrate-tool安装创建配置文件生成测试数据执行导入命令数据校验,抽样检查 前言 这一篇是承接上一篇博客的，是在redis自动构建完成以后的操作 可参考：https://blog.csdn.net/weixin_43815140/article/details/106163920 r
Redis6集群安装及其扩容缩容
Field_Yang的博客
06-11 1772
移除master相对麻烦，因为主节点的里面是有分配了hash槽的，所以必须先把hash槽放入到其他的可用主节点中去，然后再进行移除节点操作，不然会出现数据丢失问题。上一步骤中创建的集群仅有master节点，需添加slave节点实现高可用，手动添加slave以实现和master不同主机，避免主机故障时，主从节点同时挂掉.前文安装的Ruby在Redis6属于无用功。因为主节点的里面是分配了hash槽，所以必须先把8006里的hash槽放入到其他的可用主节点中去，然后再进行移除节点操作，否则会出现数据丢失问题。
Redis集群动态扩容与缩容实战：添加与删除节点
"Redis集群的伸缩操作，包括增加节点（集群扩容）和删除节点（集群缩容），涉及的关键步骤和原理" 在Redis集群中，为了应对数据量的增长或减少，需要对集群进行动态调整，这通常涉及到增加新节点以扩展存储能力（扩...
redis集群的扩容机制
08-20
Redis集群的扩容机制是通过添加新的节点来实现的。扩容可以分为两个步骤：添加新节点和数据迁移。 首先，您需要在现有的Redis集群中添加一个或多个新的节点。可以使用`redis-trib.rb`或Redis Cluster的命令行工具来...
Redis集群扩展
wangziustc的博客
01-09 731
本次是在之前redis集群的基础上进行操作的。 1、当前redis集群的状态 ./install/bin/redis-cli -h 10.10.36.126 -p 7111 10.10.36.126:7111> cluster nodes ee447f5137df462f306d926e46db973a3a385ee8 10.10.36.126:7116 slave 1ac7c046b4c
redis集群如何扩容在线扩容的？
龙门之上的博客
04-16 1558
问题由来 我们知道redis的集群有16384个槽，集群中的每个节点会对应一部分的槽key通过CRC16校验后对16384取模，来放置到槽中。但是在生产中，我们集群的大小是需要调整的。那他是怎么进行扩容的呢？ 添加节点 对一个包含7000、7001、7002三个节点的集群来说，我们可以向这个集群添加 一个IP为127.0.0.1，端口号为7003的节点（节点7003）： – cluster meet 127.0.0.1 7003 重新分片 然后执行 cluster nodes，这样redis cluster
Redis Cluster 集群扩容与收缩
ApatheCrazyFan的博客
07-30 897
原文地址：http://www.roncoo.com/article/detail/129321 Redis Cluster 集群扩容与收缩 Redis Cluster 集群伸缩 1. 伸缩原理 Redis提供了灵活的节点扩容和收缩方案。在不影响集群对外服务的情况下，可以为集群添加节点进行扩容也可以对下线节点进行缩容。
Redis Cluster 集群扩容、数据迁移
不忘初心，方得始终
02-28 7560
1、集群扩容 2、添加新节点作为副本 3、删除节点 4、副本迁移 5、redis集群节点版本升级 6、迁移到redis集群 7、手动故障转移 8、集群缩容 官方文档：Redis cluster tutorial – Redis 1、集群扩容 操作流程如下：基于ansible-playbook来操作 1、禁用掉ip.txt中init_cluster组，将server组的ip替换成要扩容节点的物理机ip地址 2、根据原来集群的配置，修改vars/vars.yal的配置文件；执行an
Redis5.0+ Redis集群水平扩容|节点删除
craftsman2020的博客
05-26 3338
三个master节点和三个slave节点，8004端口的实例节点存储0-5460这些hash槽，8006端口的实 例节点存储5461-10922这些hash槽，8005端口的实例节点存储10923-16383这些hash槽，这三个master节点存储的所有hash槽组成 redis集群的存储槽位，slave点是每个主节点的备份从节点，不显示存储槽位。新增的节点也没有子节点。
Redis集群扩容和缩容
bsegebr的博客
04-07 2010
一、引言 上一篇文章我们一步一步的教大家搭建了Redis的Cluster集群环境，形成了3个主节点和3个从节点的Cluster的环境。当然，大家可以使用 Cluster info 命令查看Cluster集群的状态，也可以使用Cluster Nodes 命令来详细了解Cluster集群每个节点的详细信息和关系。我们可以在主节点上增加数据、操作数据，也可以在从节点上读取数据，这些操作当然都没有问题。我们今天这篇文章主要是讲解一下如何在不停掉Cluster集群环境的情况下，动态的往集群环境中增加主、从节点和动态的
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值