redis数据迁移工具之 RedisShake

男人要霸气

已于 2022-09-02 17:41:36 修改

阅读量3k

点赞数

文章标签： redis

于 2022-08-26 19:05:41 首次发布

本文为博主原创文章，未经博主允许不得转载。

本文链接：https://blog.csdn.net/weixin_42740530/article/details/126548938

版权

文章目录

1. 下载代码

	[RedisShake](https://github.com/alibaba/RedisShake)

直接git clone或者通过二进制包下载。当然，更简单的方式是，用户可以在这里下载到最新的发行的包，免去编译的环节。

2. 编译代码

用户可以通过README的Usage中所说的方式进行编译，不过由于依赖的库需要下载。所以需要先下载govendor：go get -u github.com/kardianos/govendor，然后使用govendor进行依赖包的下载(govendor sync命令)，注意：下载依赖包的时候需要配置GOPATH。下载完以后就可以直接调用build.sh脚本进行编译执行。
用户也可以使用bin目录下的redis-shake二进制文件进行直接运行，但是通常该二进制文件的更新会落后于代码的更新，如果配置文件发生更改将会导致运行失败，可以打印版本号-version进行查看。我们更建议使用编译的方式进行运行。

3. 修改配置文件

这部分应该是用户最困惑的地方，为了满足用户的灵活配置，目前开放了较多的配置项，但用户一开始使用并不需要管这么多的项。默认sync模式只需要配置以下几个内容：

source.type: 源redis的类型，支持一下4种类型：
standalone: 单db节点/主从版模式。如果源端是从多个db节点拉取就选择这个模式，即便是codis等开源的proxy-db架构。
sentinel: sentinel模式。
cluster: 集群模式。开源的cluster。对于阿里云来说，用户目前无法拉取db的地址，所以此处只能是proxy。
proxy: proxy模式。如果是阿里云redis的集群版，从proxy拉取/写入请选择proxy，从db拉取请选择cluster。正常cluster到cluster同步源端请选择cluster模式，proxy模式目前只用于rump。。
source.address: 源redis的地址，从1.6版本开始我们支持集群版，不同的类型对应不同的地址：
standalone模式下，需要填写单个db节点的地址，主从版需要输入master或者slave的地址。
sentinel模式下，需要填写sentinel_master_name:master_or_slave@sentinel_cluster_address。sentinel_master_name表示sentinel配置下master的名字，master_or_slave表示从sentinel中选择的db是master还是slave，sentinel_cluster_address表示sentinel的单节点或者集群地址，其中集群地址以分号（;）分割。例如：mymaster:master@127.0.0.1:26379;127.0.0.1:26380。注意，如果是sentinel模式，目前只能拉取一个master或者slave信息，如果需要拉取多个节点，需要启动多个shake。
cluster模式下，需要填写集群地址，以分号（;）分割。例如：10.1.1.1:20331;10.1.1.2:20441。同样也支持上面sentinel介绍的自动发现机制，包含@即可，参考3.2。
proxy模式下，需要填写单个proxy的地址，此模式目前仅用于rump。
source.password_raw：源redis的密码。
target.type: 目的redis的类型，与source.type一致。注意，目的端如果是阿里云的集群版，类型请填写proxy，填写cluster只会同步db0。
target.address：目的redis的地址。从1.6版本开始我们支持集群版，不同的类型对应不同的地址。 standalone模式，参见source.address。
sentinel模式，需要填写sentinel_master_name@sentinel_cluster_address。sentinel_master_name表示sentinel配置下master的名字，sentinel_cluster_address表示sentinel的单节点或者集群地址，其中集群地址以分号（;）分割。例如：mymaster@127.0.0.1:26379;127.0.0.1:26380
cluster模式，参见source.address。
proxy模式下，填写proxy的地址，如果是多个proxy，则round-robin循环负载均衡连接，保证一个源端db连接只会对应一个proxy。如果是阿里云的集群版请选择这种模式。
target.password_raw：目的redis的密码。
用户配置完配置文件，然后以不同的模式启动即可：./redis-shake -conf=redis-shake.conf -type=sync。

3.1 单个节点到单个节点配置举例。

source.type: standalone
source.address: 10.1.1.1:20441
source.password_raw: 12345
target.type: standalone
target.address: 10.1.1.1:20551
target.password_raw: 12345

3.2 集群版cluster到集群版cluster配置举例

source.type: cluster
source.address: 10.1.1.1:20441;10.1.1.1:20443;10.1.1.1:20445
source.password_raw: 12345
target.type: cluster
target.address: 10.1.1.1:20551;10.1.1.1:20553;10.1.1.1:20555
target.password_raw: 12345

对于source.address或者target.address，需要配置源端的所有集群中db节点列表以及目的端集群所有db节点列表，用户也可以启用自动发现机制，地址以’@‘开头，redis-shake将会根据cluster nodes命令自动去探测有几个节点。对于source.address，用户可以在’@'前面配置master（默认）或者slave表示分表从master或者slave进行拉取；对于target.address，只能是master或者不配置：

source.type: cluster
source.address: master@10.1.1.1:20441 # 将会自动探测到10.1.1.1:20441集群下的所有节点，并从所有master进行拉取。同理如果是slave@10.1.1.1:20441将会扫描集群下的所有slave节点。
source.password_raw: 12345
target.type: cluster
target.address: @10.1.1.1:20551 # 将会自动探测到10.1.1.1:20551集群下的所有节点，并写入所有master。
target.password_raw: 12345
  以上的说明是开源cluster，当然，源端也可以是别的集群架构模式，比如带proxy的集群（比如codis，或者别的云集群架构，但这种情况下有些不支持自动发现，需要手动配置所有master或者slave的地址），那么需要选择db节点进行拉取，source.type同样选择cluster，source.address后面跟所有db的地址（只要主或者从的其中一个即可）。

3.3 集群版cluster到proxy配置举例

source.type: cluster
source.address: 10.1.1.1:20441;10.1.1.1:20443;10.1.1.1:20445;10.1.1.1:20447
source.password_raw: 12345
target.type: proxy
target.address: 10.1.1.1:30331;10.1.1.1:30441;10.1.1.1:30551
target.password_raw: 12345

source.address同样支持自动发现机制，参考3.2。此外，target.address为proxy的地址，proxy支持roundrobin写入，也就是说，对于这个配置来说，10.1.1.1:20441和10.1.1.1:20447将会写入10.1.1.1:30331；10.1.1.1:20443写入10.1.1.1:30441；10.1.1.1:20445写入10.1.1.1:30551。
如3.2中所述，源端也可以是别的集群架构模式。

3.4 主从版/单节点到cluster配置举例

source.type: standalone
source.address: 10.1.1.1:20441
source.password_raw: 12345
target.type: cluster
target.address: 10.1.1.1:30331;10.1.1.1:30441;10.1.1.1:30551
target.password_raw: 12345

3.5 如何使用dump模式？
配置source.type, source.address, source.password_raw，rdb文件会自动以output_rdb参数进行dump，如果是集群模式（参考3.2的source.*配置），将会有多个rdb文件。

3.6 如何使用decode模式？
配置input_rdb即可。

3.7 如何使用restore模式（根据输入的rdb进行恢复）？
配置source.input.rdb表示输入的rdb文件列表（分号";"分割），同时配置target.type, target.address和target.password_raw表示恢复的地址（参考3.2的target.*配置）。

3.8 如何使用rump模式？
配置源redis和目的redis的类型、地址和密码之后，如果源端是阿里云或者腾讯云的集群版redis，配置scan.special_cloud为aliyun_cluster或者tencent_cluster，将会从源端scan key的方式同步到目的端。如果源端不支持scan命令，还可以指定scan.key_file表示输入的key文件，会从源端拉取这些key对应的信息进行同步。配置举例：

source.type: proxy
source.address: 10.1.1.1:20441 // 源端proxy的地址
source.password_raw: 12345
target.type: proxy
target.address: 10.1.1.1:30331;10.1.1.1:30441;10.1.1.1:30551 // 目的端proxy的地址，填多个可以负载均衡
target.password_raw: 12345
scan.special_cloud: aliyun_cluster

3.9 如何提高全量同步的性能？
提高parallel的数目。

3.10 如何进行过滤功能的支持？
filter.db支持让指定的db进行通过，对其余的进行过滤。同理filter.key和filter.slot。

3.11 如何支持TLS？
对于部分云厂商，支持TLS加密，用户可以启用source.tls_enable或者target.tls_enable参数，目前只支持standalone单点模式。

3.12 如何同步codis？
请查看这个问题。

3.13 如何控制并发数？
设置source.rdb.parallel，参考issue。适用于dump, restore, sync模式。

3.14 如何把不同的逻辑db同步到集群版？
target.db = 0表示所有源端的db都同步到db0，如果你只是希望源端db0同步到目的端db0，别的db不需要，那么可以指定filter.db.whitelist = 0。

3.15 例子：
一般情况下，只需要改这几个参数即可：

# 原redis
source.type = cluster
source.address = 192.168.1.21:6380;192.168.1.22::6380;1192.168.1.23::6380
source.password_raw = root123456

# 目标redis
target.type = cluster
target.address = 192.168.1.21:6380;192.168.1.22::6380;1192.168.1.23::6380
target.password_raw = root123456

#迁移的redis key
filter.key.whitelist = redis_ceshi_key_01;redis_ceshi_key_02

#目标库key存在策略（覆盖）
key_exists = rewrite

4. 启动

启动二进制：./redis-shake.linux -conf=redis-shake.conf -type=xxx

xxx为sync, restore, dump, decode, rump其中之一。
全量+增量同步请选择sync。
mac下请使用redis-shake.darwin，windows请用redis-shake.windows.

5. 日志信息

同步分为三个阶段：

等待源端save rdb完毕，日志如下

2019/06/06 15:14:56 [INFO] dbSyncer[0] + waiting source rdb
2019/06/06 15:14:57 [INFO] dbSyncer[0] - waiting source rdb
2019/06/06 15:14:57 [INFO] dbSyncer[0] + waiting source rdb

全量同步阶段，显示百分比：

2019/06/06 15:15:41 [INFO] dbSyncer[0] total=924836132 -      9155943 [  0%]  entry=2109
2019/06/06 15:15:42 [INFO] dbSyncer[0] total=924836132 -     16107663 [  1%]  entry=4411
2019/06/06 15:15:43 [INFO] dbSyncer[0] total=924836132 -     22914262 [  2%]  entry=6750
2019/06/06 15:15:44 [INFO] dbSyncer[0] total=924836132 -     29707595 [  3%]  entry=9060
2019/06/06 15:15:45 [INFO] dbSyncer[0] total=924836132 -     35741354 [  3%]  entry=11067
2019/06/06 15:15:46 [INFO] dbSyncer[0] total=924836132 -     42911547 [  4%]  entry=13480

增量同步，出现字样sync rdb done后，当前dbSyncer进入增量同步:

2019/07/09 16:34:05 [INFO] dbSyncer[0] sync:  +forwardCommands=1      +filterCommands=0      +writeBytes=4
2019/07/09 16:34:06 [INFO] dbSyncer[0] sync:  +forwardCommands=0      +filterCommands=0      +writeBytes=0
2019/07/09 16:34:07 [INFO] dbSyncer[0] sync:  +forwardCommands=0      +filterCommands=0      +writeBytes=0
2019/07/09 16:34:08 [INFO] dbSyncer[0] sync:  +forwardCommands=0      +filterCommands=0      +writeBytes=0
2019/07/09 16:34:09 [INFO] dbSyncer[0] sync:  +forwardCommands=0      +filterCommands=0      +writeBytes=0
2019/07/09 16:34:10 [INFO] dbSyncer[0] sync:  +forwardCommands=0      +filterCommands=0      +writeBytes=0
2019/07/09 16:34:11 [INFO] dbSyncer[0] sync:  +forwardCommands=0      +filterCommands=0      +writeBytes=0

其中forwardCommands表示发送的命令个数，filterCommands表示过滤的命令个数，比如opinfo或者指定了filter都会被过滤，writeBytes表示发送的字节数。

6 redis数据对比校验工具之 RedisFullCheck

RedisFullCheck

参考链接：https://github.com/alibaba/RedisShake/wiki/%E7%AC%AC%E4%B8%80%E6%AC%A1%E4%BD%BF%E7%94%A8%EF%BC%8C%E5%A6%82%E4%BD%95%E8%BF%9B%E8%A1%8C%E9%85%8D%E7%BD%AE%EF%BC%9F#4-%E5%90%AF%E5%8A%A8