redis集群迁移

一、设计方案

方案一:将redis包全部拷贝,然后使用aof或者rdb文件做数据迁移.

但是这里面存在大问题,集群中存在aof或者rdb文件的时候,单节点启动没有问题,但是集群启动的话就会启动失败.将两个文件删除后,启动就正常了.

报错如下:

is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

这是在集群启动的时候,源数据文件不一致导致启动失败.

没办法,只能先把集群启动,然后换另一种方案

方案二:使用redis-shake工具做数据迁移

这个工具是阿里研发并维护的.很是好用

第一步:下载工具

Releases · tair-opensource/RedisShake · GitHub

我这里下载的是这个版本

第二步:在服务器中解压文件

tar -zxvf fileName

解压后是这两个文件

第三步:修改配置文件(我这里配置的是单节点信息,没有配置集群,根据自身需求修改哦)

vi shake.toml

配置内容解析:

redis-shake支持三种模式:sync(数据迁移),redtore(从rdb文件中恢复数据,scan(数据迁移)

我使用的是sync模式:

[sync_reader]   (你想要迁移的集群)
cluster = false            # set to true if source is a redis cluster (是否是集群模式)
address = "11.11.111.111:7001"   (你想要迁移集群的ip和port)
username = ""              (如果你的redis版本是6.0以上,需要填写)
password = "redis@2023"              (如果你的集群有密码需要填写)
 

[redis_writer] (目的地集群)
cluster = false            (是否是集群)
address = "11.11.111.111:7010" (目的地集群的ip和port)
username = ""             (如果你的redis版本是6.0以上,需要填写)
password = ""              (如果你的集群有密码需要填写)

第四步:启动服务

./redis-shake shake.toml 

启动后查看日志信息(你的配置文件中可以看到日志配置信息)

这里可以看到数据在同步中.

你也可以登录到你的集群中去看一下

./redis-cli -h ip -p port

进入后

keys *

二、遇到的问题

第一个问题:

redis版本太低

现在redis版本好像已经升级到7.2,而现在生产的redis版本还在3.2.1

当时迁移的时候没有发现,直到使用集群启动命令时报错,报错信息如下(这是ruby版本太低启动失败):

是自己版本太低,导致这个命令不能使用;

好吧,那就找解决办法,需要安装插件ruby.

安装好后,又发现版本太低,需要升级.

好的更麻烦.升不上去(主要是这个甲方的服务器,我们需要联系甲方进行传包)

没办法,升级redis版本;

第二个问题:

以为版本提高了,就可以使用命令启动了吧;

万万没想到,还有无数的坑在等着我.....

这个问题就是上面👆提到的aof和rdb文件数据存在,无法启动集群的bug

第三个问题:

在同步过程中出现key被锁定,导致同步不能成功的问题

 [writer_127.0.0.1_7006] redisStandaloneWriter received BUSYKEY reply. cmd=[restore 100496646_USERPROFILE 0 �#@u�B1007885269P��f�l�a      R]
                        RedisShake/internal/writer/redis_standalone_writer.go:108 -> (*redisStandaloneWriter).processReply()
  runtime/asm_amd64.s:1598 -> goexit()

可以看出redis的key被使用或者key已经存在,导致同步失败

如果redis中的key被使用(读&写...)都会导致同步失败

修改:

在配置中添加rdb_restore_command_behavior=rewrite (如果发现key被占用或已经存在直接重写)

第四个问题:

我是做集群同步,在配置文件中,我配置了集群中一个ip和端口,这样shake工具也是可以做集群同步的.

但是

要保证端口的一致性(数量,主从等等),不然的话也会报错的.