redis集群迁移

三人行都是我师

已于 2024-05-13 14:17:41 修改

阅读量1.5k

点赞数 25

文章标签： redis linux bug

于 2024-02-29 10:51:10 首次发布

本文链接：https://blog.csdn.net/wy13103359239/article/details/136363343

版权

一、设计方案

方案一:将redis包全部拷贝,然后使用aof或者rdb文件做数据迁移.

但是这里面存在大问题,集群中存在aof或者rdb文件的时候,单节点启动没有问题,但是集群启动的话就会启动失败.将两个文件删除后,启动就正常了.

报错如下:

is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0.

这是在集群启动的时候,源数据文件不一致导致启动失败.

没办法,只能先把集群启动,然后换另一种方案

方案二:使用redis-shake工具做数据迁移

这个工具是阿里研发并维护的.很是好用

第一步:下载工具

Releases · tair-opensource/RedisShake · GitHub

我这里下载的是这个版本

第二步:在服务器中解压文件

tar -zxvf fileName

解压后是这两个文件

第三步:修改配置文件(我这里配置的是单节点信息,没有配置集群,根据自身需求修改哦)

vi shake.toml

配置内容解析:

redis-shake支持三种模式:sync(数据迁移),redtore(从rdb文件中恢复数据,scan(数据迁移)

我使用的是sync模式:

[sync_reader] (你想要迁移的集群)
cluster = false # set to true if source is a redis cluster (是否是集群模式)
address = "11.11.111.111:7001" (你想要迁移集群的ip和port)
username = "" (如果你的redis版本是6.0以上,需要填写)
password = "redis@2023" (如果你的集群有密码需要填写)

[redis_writer] (目的地集群)
cluster = false (是否是集群)
address = "11.11.111.111:7010" (目的地集群的ip和port)
username = "" (如果你的redis版本是6.0以上,需要填写)
password = "" (如果你的集群有密码需要填写)

第四步:启动服务

./redis-shake shake.toml

启动后查看日志信息(你的配置文件中可以看到日志配置信息)

这里可以看到数据在同步中.

你也可以登录到你的集群中去看一下

./redis-cli -h ip -p port

进入后

keys *

二、遇到的问题

第一个问题:

redis版本太低

现在redis版本好像已经升级到7.2,而现在生产的redis版本还在3.2.1

当时迁移的时候没有发现,直到使用集群启动命令时报错,报错信息如下(这是ruby版本太低启动失败):

是自己版本太低,导致这个命令不能使用;

好吧,那就找解决办法,需要安装插件ruby.

安装好后,又发现版本太低,需要升级.

好的更麻烦.升不上去(主要是这个甲方的服务器,我们需要联系甲方进行传包)

没办法,升级redis版本;

第二个问题:

以为版本提高了,就可以使用命令启动了吧;

万万没想到,还有无数的坑在等着我.....

这个问题就是上面👆提到的aof和rdb文件数据存在,无法启动集群的bug

第三个问题:

在同步过程中出现key被锁定,导致同步不能成功的问题

[writer_127.0.0.1_7006] redisStandaloneWriter received BUSYKEY reply. cmd=[restore 100496646_USERPROFILE 0 �#@u�B1007885269P��f�l�a R]
RedisShake/internal/writer/redis_standalone_writer.go:108 -> (*redisStandaloneWriter).processReply()
runtime/asm_amd64.s:1598 -> goexit()

可以看出redis的key被使用或者key已经存在,导致同步失败