redis数据迁移工具之redis-shake

redis-shake是阿里云redis和mongodb团队开源,支持2.8~5.0版本的单实例以及部分代理与集群之间同步。

redis-shake同步原理
第一阶段:源redis节点到redis-shake
1.psync
2.发送rdb
3.发送增量命令

第二阶段:redis-shake到目的redis节点
1.写入rdb
2.写入增量命令

redis-shake特点
高效性:全量同步阶段并发执行,增量同步阶段异步执行,能够达到毫秒级别延迟取决于网络延时。同时,还对大key同步进行分批拉取,优化同化性能。

redis-shake的同步方式
1.dump:从源端下载rdb文件
2.decode:以json格式解析rdb文件
3.restore:将rdb文件恢复健康到目的端red is
4.sync:支持数据同步,原端可以是单节点,主从,集群也支持codis.目的端同样可以是各种模式的redis
5.rump:采用scan和restore命令进行的全量迁移。主要是应对一些云厂商没有开放sync/psync权限的情况下,进行全量迁移的场景

redis-shake的使用

##下载
wget https://github.com/alibaba/RedisShake/releases/download/release-v2.0.3-20200724/redis-shake-v2.0.3.tar.gz

##解压
tar -zxvf redis-shake-v2.0.3.tar.gz

##修改配置文件
vim redis-shake.conf
parallel =      ##同步并发线程数量
source.type = cluster    ##模式
source.address = slave@ip:port  ##源地址
source.password_raw =    ##没有密码,不用输入
source.auth_type = auth   
target.type = cluster           ##模式
target.address = @ip:port  ##目的地址
target.password_raw = 
target.auth_type = auth
source.rdb.parallel =     ##rdb同步并发

##启动
redis-shake.linux -type=sync -conf=redis-shake.conf
  • 0
    点赞
  • 7
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
Redis-shake是一款基于Go语言开发的Redis数据迁移工具。它能够在不停机的情况下将Redis数据从一个节点迁移到另一个节点,支持集群、单机以及主从架构的数据迁移Redis-shake具有以下特点。 1. 快速高效:Redis-shake使用并行化的方式进行数据迁移,能够充分利用多核处理器和带宽资源,提供高性能的数据迁移速度。 2. 稳定可靠:Redis-shake经过了大规模的生产环境验证,已经得到了广泛的应用。它具备重试机制,能够自动处理网络中断等异常情况,保证数据迁移的稳定性和可靠性。 3. 灵活易用:Redis-shake支持多种数据源和数据目标的组合。它可以从Redis节点迁移到另一个Redis节点,也可以将数据迁移到其他存储系统,如MySQL、MongoDB等。同时,Redis-shake提供了丰富的配置选项,可以根据需要进行灵活配置和定制。 4. 兼容支持Redis-shake能够兼容不同版本Redis,包括Redis 2.x和Redis 3.x等。它支持迁移过程中的数据过滤、数据分片、数据压缩等功能,可以满足不同场景下的需求。 5. 开源免费:Redis-shake是一款开源工具,遵循Apache 2.0协议。它的源代码可以在GitHub上获取,用户可以基于其代码进行定制和扩展,且使用过程中没有任何费用。 总之,Redis-shake是一款强大且灵活的Redis数据迁移工具,通过它我们可以轻松实现Redis数据迁移和备份等操作,同时保证数据的一致性和可靠性。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值