Redis Cluster在线迁移

最新推荐文章于 2024-03-15 10:57:28 发布
最新推荐文章于 2024-03-15 10:57:28 发布
阅读量815 收藏
点赞数
分类专栏： redis 文章标签： redis

转自：http://blog.51cto.com/hsbxxl/1978491

由于之前的redis cluster物理硬件性能不足。决定升级到更好的服务器上。
考虑到redis是核心生产数据库，决定在线迁移，迁移过程，不中断服务。

下面是测试环境的完成迁移步骤：
1. 原环境（测试环境，没有创建slave）

1

2

3

10.21.14.251:7000

10.21.14.251:7001

10.21.14.251:7002

2. 在新主机上，启动三个redis实例

1

2

3

10.21.10.120:7000

10.21.10.120:7001

10.21.10.120:7002

3. 将三个redis，都添加到集群中. 命令格式redis-trib.rb add-node <新增节点名> < 原集群节点名>

1

2

3

./redis-trib.rb add-node  10.21.10.120:7000  10.21.14.251:7000

./redis-trib.rb add-node  10.21.10.120:7001  10.21.14.251:7000

./redis-trib.rb add-node  10.21.10.120:7002  10.21.14.251:7000

4. 确认添加成功之后，开始reshard slot

1

./redis-trib.rb reshard 10.21.10.120:7000

5. 遇到点问题，由于网络超时等原因，导致resharding中断。然后出现两边都有slot的情况，需要通过fix的方式来修复

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

26

27

28

[redis@ip-10-21-14-251 redis]$ ./redis-trib.rb reshard 10.21.10.120:7000

>>> Performing Cluster Check (using node 10.21.10.120:7000)

M: 4422ab38377fa8828e0f7884570b3b482a66496b 10.21.10.120:7000

   slots:5026-5460 (435 slots) master

   0 additional replica(s)

M: 5b38e63a1091baa3a871a52275489a2aa1d28bfb 10.21.10.120:7002

   slots:894-3397 (2504 slots) master

   0 additional replica(s)

M: bb1572074d41254e5b4d5aae5c52e54f5129d6d5 10.21.14.251:7001

   slots:3398-4999,5461-15922 (12064 slots) master

   0 additional replica(s)

M: 396a7fbd2ec61752f9e848a1d8cc7b405aef0356 10.21.14.251:7000

   slots: (0 slots) master

   0 additional replica(s)

M: 9f215e7e4b511f3d2bbf5d734731899b71a62a3b 10.21.10.120:7001

   slots:0-893,5000-5025,15923-15948 (946 slots) master

   0 additional replica(s)

M: 0c9b383f65ae4fefc5e02617fb76a845d7510a53 10.21.14.251:7002

   slots:15949-16383 (435 slots) master

   0 additional replica(s)

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

[WARNING] Node 10.21.10.120:7002 has slots in importing state (3398).

[WARNING] Node 10.21.14.251:7001 has slots in migrating state (3398).

[WARNING] The following slots are open: 3398

>>> Check slots coverage...

[OK] All 16384 slots covered.

*** Please fix your cluster problems before resharding     <<<<<<<<<<<<<<<<<<<<<

6. 可以使用下面命令进行集群检查

1

./redis-trib.rb check 10.21.10.120:7000

7. 执行下面命令进行修复，然后就可以继续reshard slot了

1

./redis-trib.rb fix 10.21.10.120:7000

8. 全部slot迁移完成

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

$ ./redis-trib.rb check 10.21.10.120:7000

>>> Performing Cluster Check (using node 10.21.10.120:7000)

M: 4422ab38377fa8828e0f7884570b3b482a66496b 10.21.10.120:7000

   slots:3399-4999,5026-7332 (3908 slots) master

   0 additional replica(s)

M: 5b38e63a1091baa3a871a52275489a2aa1d28bfb 10.21.10.120:7002

   slots:894-3398,7333-15332,15949-16383 (10940 slots) master

   0 additional replica(s)

M: bb1572074d41254e5b4d5aae5c52e54f5129d6d5 10.21.14.251:7001

   slots: (0 slots) master

   0 additional replica(s)

M: 396a7fbd2ec61752f9e848a1d8cc7b405aef0356 10.21.14.251:7000

   slots: (0 slots) master

   0 additional replica(s)

M: 9f215e7e4b511f3d2bbf5d734731899b71a62a3b 10.21.10.120:7001

   slots:0-893,5000-5025,15333-15948 (1536 slots) master

   0 additional replica(s)

M: 0c9b383f65ae4fefc5e02617fb76a845d7510a53 10.21.14.251:7002

   slots: (0 slots) master

   0 additional replica(s)

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All 16384 slots covered.

确认一下状态

1

2

3

4

5

6

7

[redis@ip-10-21-14-251 redis]$ ./redis-cli -p 7000 cluster nodes

bb1572074d41254e5b4d5aae5c52e54f5129d6d5 10.21.14.251:7001 master - 0 1509611814919 6 connected

9f215e7e4b511f3d2bbf5d734731899b71a62a3b 10.21.10.120:7001 master - 0 1509611811917 14 connected 0-893 5000-5025 15333-15948

5b38e63a1091baa3a871a52275489a2aa1d28bfb 10.21.10.120:7002 master - 0 1509611815923 13 connected 894-3398 7333-15332 15949-16383

396a7fbd2ec61752f9e848a1d8cc7b405aef0356 10.21.14.251:7000 myself,master - 0 0 1 connected

4422ab38377fa8828e0f7884570b3b482a66496b 10.21.10.120:7000 master - 0 1509611813919 12 connected 3399-4999 5026-7332

0c9b383f65ae4fefc5e02617fb76a845d7510a53 10.21.14.251:7002 master - 0 1509611812917 3 connected

9. 确认状态OK的话，开始删除节点

1

2

3

 ./redis-trib.rb del-node 10.21.14.251:7000 396a7fbd2ec61752f9e848a1d8cc7b405aef0356

 ./redis-trib.rb del-node 10.21.14.251:7001 bb1572074d41254e5b4d5aae5c52e54f5129d6d5

 ./redis-trib.rb del-node 10.21.14.251:7002 0c9b383f65ae4fefc5e02617fb76a845d7510a53

10. 干掉10.21.14.251:7002成功,

1

2

3

4

5

6

7

8

9

10

11

12

13

14

15

16

17

18

19

20

21

22

23

24

25

 [redis@ip-10-21-14-251 redis]$ ./redis-trib.rb del-node 10.21.14.251:7002 0c9b383f65ae4fefc5e02617fb76a845d7510a53

>>> Removing node 0c9b383f65ae4fefc5e02617fb76a845d7510a53 from cluster 10.21.14.251:7002

>>> Sending CLUSTER FORGET messages to the cluster...

>>> SHUTDOWN the node.

[envuser@ip-10-21-14-251 redis]$ ./redis-trib.rb check 10.21.10.120:7000

>>> Performing Cluster Check (using node 10.21.10.120:7000)

M: 4422ab38377fa8828e0f7884570b3b482a66496b 10.21.10.120:7000

   slots:3399-4999,5026-7332 (3908 slots) master

   0 additional replica(s)

M: 5b38e63a1091baa3a871a52275489a2aa1d28bfb 10.21.10.120:7002

   slots:894-3398,7333-15332,15949-16383 (10940 slots) master

   0 additional replica(s)

M: bb1572074d41254e5b4d5aae5c52e54f5129d6d5 10.21.14.251:7001

   slots: (0 slots) master

   0 additional replica(s)

M: 396a7fbd2ec61752f9e848a1d8cc7b405aef0356 10.21.14.251:7000

   slots: (0 slots) master

   0 additional replica(s)

M: 9f215e7e4b511f3d2bbf5d734731899b71a62a3b 10.21.10.120:7001

   slots:0-893,5000-5025,15333-15948 (1536 slots) master

   0 additional replica(s)

[OK] All nodes agree about slots configuration.

>>> Check for open slots...

>>> Check slots coverage...

[OK] All 16384 slots covered.

状态检查

1

2

3

4

5

6

[redis@ip-10-21-14-251 redis]$ ./redis-cli -p 7000 cluster nodes

bb1572074d41254e5b4d5aae5c52e54f5129d6d5 10.21.14.251:7001 master - 0 1509611900094 6 connected

9f215e7e4b511f3d2bbf5d734731899b71a62a3b 10.21.10.120:7001 master - 0 1509611902100 14 connected 0-893 5000-5025 15333-15948

5b38e63a1091baa3a871a52275489a2aa1d28bfb 10.21.10.120:7002 master - 0 1509611901098 13 connected 894-3398 7333-15332 15949-16383

396a7fbd2ec61752f9e848a1d8cc7b405aef0356 10.21.14.251:7000 myself,master - 0 0 1 connected

4422ab38377fa8828e0f7884570b3b482a66496b 10.21.10.120:7000 master - 0 1509611899093 12 connected 3399-4999 5026-7332

根据上面步骤，删除剩余节点即可。
经过测试，应用在迁移过程中，没有受到任何影响。但是应用连接池的IP需要找机会增加10.21.10.120。

gongxiao1993
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Redis源码解析:集群手动故障转移、从节点迁移详解
09-09
主要介绍了Redis源码解析:集群手动故障转移、从节点迁移的相关内容，涉及通过集群定时器函数clusterCron实现从节点迁移等知识，具有一定参考价值，需要的朋友可以了解。
java 对Redis的导入和导出
03-07
java实现对Redis数据的导入和导出，可以实现从这个服务器copy到另一台Redis服务器上。
Redis数据迁移
最新发布
m0_38004228的博客
03-15 524
最近在工作中遇到一个需要对redis进行数据迁移的场景，经过学习和验证，找到两种有效的迁移方法，在此做一下记录。
Redis 3.x 分布式集群搭建.pdf
02-15
redis从3.0开始支持集群功能。redis集群采用无中心节点方式实现，无需proxy代理，客户端直接与redis集群的每个节点连接，根据同样的hash算法计算出key对应的slot，然后直接在slot对应的redisj节点上执行命令。在redis看来，响应时间是最苛刻的条件，增加一层带来的开销是redis不能接受的。因此，redis实现了客户端对节点的直接访问，为了去中心化，节点之间通过gossip协议交换互相的状态，以及探测新加入的节点信息。redis集群支持动态加入节点，动态迁移slot，以及自动故障转移。 Redis Cluster是由多个Redis实例组成，官方推荐我们使用6实例
Redis集群数据迁移操作文档
06-29
1、新旧redis集群迁移 2、支持redis集群的存量和增量数据迁移 3、支持redis集群数据的离线迁移
codis/redis 迁移redis cluster工具
08-18
支持codis迁移数据到redis 支持codis迁移数据到redis cluster 支持redis迁移数据到redis 支持redis迁移数据到codis 支持增量同步数据
【Redis】Redis Cluster-集群数据迁移
S-H_A-N
06-21 2844
Redis通过对KEY计算hash，将KEY映射到slot，集群中每个节点负责一部分slot的方式管理数据，slot最大个数为16384。 在集群节点对应的结构体变量clusterNode中可以看到slots数组，数组的大小为CLUSTER_SLOTS除以8，CLUSTER_SLOTS的值是16384： clusterStateclusterNode里面保存了节点相关的信息，集群数据迁移信息并未保存在clusterNode中，而是使用了clusterState结构体来保存： clusterState与cl
Redis集群模式下保证可迁移和高可用——一致性哈希算法(附代码实现)
loseyourself94的博客
03-15 679
Redis集群模式下保证可迁移和高可用——一致性算法
Redis Cluster 集群扩容、数据迁移
不忘初心，方得始终
02-28 6899
1、集群扩容 2、添加新节点作为副本 3、删除节点 4、副本迁移 5、redis集群节点版本升级 6、迁移到redis集群 7、手动故障转移 8、集群缩容 官方文档：Redis cluster tutorial – Redis 1、集群扩容 操作流程如下：基于ansible-playbook来操作 1、禁用掉ip.txt中init_cluster组，将server组的ip替换成要扩容节点的物理机ip地址 2、根据原来集群的配置，修改vars/vars.yal的配置文件；执行an
redis cluster数据迁移
y_zilong的博客
11-05 1354
1、首先确定集群状态，搭建new redis cluster请看前面的文章 集群1迁移集群2 集群模式：1 192.168.121.17:7001, 192.168.121.17:7002, 192.168.121.18:7003, 192.168.121.18:7004, 192.168.121.19:7005, 192.168.121.19:7006 集群模式：2 10.192.64.29:7001, 10.192.64.29:7002, 10.192.64.30:7003, 10.1
Redis数据导入导出以及数据迁移的4种方法详解
09-08
主要介绍了Redis数据导入导出以及数据迁移的4种方法详解,需要的朋友可以参考下
redis 6.2 集群 迁移节点，添加节点，删除节点
04-28 1109
redis 6.2 集群 添加节点，删除节点，迁移节点
redis-cluster部署及数据迁移
weixin_34174322的博客
01-07 242
工作原理 节选自redis官方文档：http://www.redis.cn/topics/cluster-tutorial.html Redis集群介绍 Redis 集群是一个提供在多个Redis间节点间共享数据的程序集。Redis集群并不支持处理多个keys的命令,因为这需要在不同的节点间移动数据,从而达不到像Redis那样的性能,在高负载的情况下可能会导致不可预料的错误.Redis 集群通过分...
redis cluster3.2.0注意点
java20150326的博客
04-23 544
redis-trib.rb是redis官方提供的redis cluster管理工具，使用ruby实现. 检查节点状态 redis-trib.rb check 127.0.0.1:6380 如发现如下这样的错误： [WARNING] Node 192.168.0.11:6380 has slots in migrating state (5461). [WARNING]
数据结构--知识点16--搜索算法(二叉树)
ANingL的博客
09-06 2801
文章目录一、树的概念1、特点2、树的术语3、树的种类4、树的存储与表示5、常见的树的应用场景二、二叉树1、概念2、性质 一、树的概念 树是一种抽象数据类型(ADT)或是视作这种抽象数据类型的数据结构 1、特点 每个节点有零个或多个子节点 没有父节点的节点称为根节点 每一个非根节点有且只有一个父节点 除了根节点外，每个子节点可以分为**多个不相交(因为都只有一个父节点)**的子树 2、树的术语 节点的度：一个节点含有的子树的个数称为该节点的度 树的度：一棵树中，最大的节点的度称为树的度 叶节点或终端节点
redis集群配置(Mac)
简单-生活
01-26 595
主要解决在Mac进行redis的集群安装及配置 包括对集群、节点、槽(slot)、键的基本命令使用，以及常见错误 版本: redis 5.3 系统: mac 10 集群 创建集群命令 root-2:src home$ ./redis-cli --cluster create 127.0.0.1:7000 127.0.0.1:7001 127.0.0.1:7002 127.0.0.1:7003 12...
2021-12-15 [redis] cluster集群数据导出及备份策略
技术之路
12-15 2085
摘要: redis的cluster集群数据按槽位存储, 本文记录如何将全部数据导出. 使用第三方工具; redis-dump 安装redis-dump: yum install ruby rubygems ruby-devel -y gem install redis-dump
Redis集群-分布式缓存
qq_38682924的博客
09-16 680
笔记：Redis集群-分布式缓存
redis-cluster数据自动迁移
07-14
Redis Cluster 提供了自动数据迁移的功能。当集群中的某个节点下线或者上线时，Redis Cluster 会自动将该节点上的数据迁移到其他节点上，以保持数据的平衡分布。 具体来说，当一个节点下线时，Redis Cluster 会根据一定的算法将该节点上的部分槽迁移到其他节点上。槽是 Redis Cluster 用来划分数据的逻辑单位，一个 Cluster 包含 16384 个槽，每个节点可以负责多个槽。当一个节点下线时，Redis Cluster 会将该节点负责的槽均匀地迁移到其他节点上。 同样地，当一个新节点上线时，Redis Cluster 也会根据一定的算法将部分槽从其他节点迁移到该新节点上，以保持数据的平衡分布。 需要注意的是，当某个节点下线或者上线时，会触发数据迁移，这个过程可能会对集群的性能产生一定的影响。因此，在生产环境中，需要谨慎地操作节点的上线和下线。 另外，为了提高数据迁移的效率，可以通过增加节点的数量来减少迁移的数据量。在 Redis Cluster 中，每个节点可以负责多个槽，因此增加节点的数量可以增加集群的总槽数，从而减少数据迁移的数量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值