redis cluster数据迁移

已于 2022-01-19 09:15:57 修改
阅读量1.4k 收藏 5
点赞数
分类专栏： redis 文章标签： redis 数据库 database
于 2021-11-05 10:57:37 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/y_zilong/article/details/121157257
版权

1、首先确定集群状态，搭建new redis cluster请看前面的文章

集群1迁移集群2

集群模式：1
192.168.121.17:7001,
192.168.121.17:7002,

192.168.121.18:7003,
192.168.121.18:7004,

192.168.121.19:7005,
192.168.121.19:7006  

集群模式：2
10.192.64.29:7001,
10.192.64.29:7002,

10.192.64.30:7003,
10.192.64.30:7004,

10.192.64.31:7005,
10.192.64.31:7006
[root@BJ-FT-VM-121-117 ~]# /apps/usr/redis/bin/redis-cli -c -p 7001 -h 192.168.121.117 -a  
123456
#-c 是指定以集群的状态登录
Warning: Using a password with '-a' or '-u' option on the command line interface may not be safe.
192.168.121.117:7001> cluster info
cluster_state:ok
cluster_slots_assigned:16384     #卡槽分配个数
cluster_slots_ok:16384
cluster_slots_pfail:0
cluster_slots_fail:0
cluster_known_nodes:6
cluster_size:3     #集群成员3个    
cluster_current_epoch:7
cluster_my_epoch:7
cluster_stats_messages_ping_sent:24773582
cluster_stats_messages_pong_sent:24382472
cluster_stats_messages_sent:49156054
cluster_stats_messages_ping_received:24382472
cluster_stats_messages_pong_received:24771892
cluster_stats_messages_fail_received:2
cluster_stats_messages_publish_received:659
cluster_stats_messages_update_received:2
cluster_stats_messages_received:49155027

#集群每个节点的状态
192.168.121.117:7001> cluster nodes
cf4c42e0cfd4d2d39e2244d5daaf7d555da89dce 192.168.121.117:7001@17001 myself,slave 5f80cc81fbdc0beec97c2ef89630a149947bafc5 0 1635992135000 1 connected
2e5ab27928795dd8e6816ad654a21688df8c3b39 192.168.121.118:7003@17003 master - 0 1635992136000 3 connected 5461-10922
e05b4dfe3cd41182a4c513eefa99ab6aa923a0f4 192.168.121.119:7005@17005 master - 0 1635992136585 5 connected 10923-16383
2249e0bf4c4b841fbe09d6aedb88a8870010bc67 192.168.121.117:7002@17002 slave e05b4dfe3cd41182a4c513eefa99ab6aa923a0f4 0 1635992137587 5 connected
5f80cc81fbdc0beec97c2ef89630a149947bafc5 192.168.121.118:7004@17004 master - 0 1635992137000 7 connected 0-5460
c1241f55794933ba799cd163543327caf18541a5 192.168.121.119:7006@17006 slave 2e5ab27928795dd8e6816ad654a21688df8c3b39 0 1635992133000 6 connected

2、对应每个卡槽分配的位置，相对应

老集群 master

192.168.121.118:7004@17004 master - 0 1635992137000 7 connected 0-5460
192.168.121.118:7003@17003 master - 0 1635992136000 3 connected 5461-10922
192.168.121.119:7005@17005 master - 0 1635992136585 5 connected 10923-16383

新集群 master

10.192.64.29:7001@17001 myself - 0 1636004716000 1 connected 0-5460
10.192.64.30:7003@17003 master - 0 1636004718563 3 connected 5461-10922
10.192.64.31:7005@17005 master - 0 1636004718000 5 connected 10923-16383

 3、备份老集群rdb

实现RDB方式
save: 同步,会阻赛其它命令,不推荐使用
bgsave: 异步后台执行,不影响其它命令的执行

进入老集群的每个 master 节点

/apps/usr/redis/bin/redis-cli -c -p 7003 -h 192.168.121.118 -a 123456
bgsave

/apps/usr/redis/bin/redis-cli -c -p 7004 -h 192.168.121.118 -a 123456
bgsave

/apps/usr/redis/bin/redis-cli -c -p 7005 -h 192.168.121.119 -a 123456
bgsave

 4、把相应对的槽位置 0-5460 5461-10922  10923-16383 的RDB拷贝到相同槽位

#每台的分配好的槽位数一定要对应好！！！

$ls /apps/redis/data/dump.rdb 
/apps/redis/data/dump.rdb

5、假如对数据要求度不高，不用 拷贝appendonly.aof文件，默认新安装的集群 /apps/redis/etc/redis.conf 文件 appendonly no ，所以可以直接重启新集群,启动好新集群，然后在redis-cli 里面开启appendonly yes，让它主动生成 appendonly.aof文件，然后在/apps/redis/etc/redis.conf 加上一行 appendonly yes，配置文件中的配置，开启直接重启redis cluster即可

10.192.64.29:7001> config get appendonly
1) "appendonly"
2) "no"

10.192.64.29:7001> config set appendonly yes
OK

10.192.64.29:7001> config get appendonly 
1) "appendonly"
2) "yes"


cat /apps/redis/conf/redis_7001.conf 
port 7001
bind 10.192.64.29
daemonize yes
pidfile /var/run/redis_7001.pid
cluster-enabled yes
cluster-config-file nodes-7001.conf
cluster-node-timeout 25000

# rdb
save 900 1
save 300 10
save 60 10000
dbfilename dump_7001.rdb
dir /apps/redis/data/7001
stop-writes-on-bgsave-error no
rdbcompression yes
rdbchecksum yes
rdb-save-incremental-fsync yes

#aof
appendonly yes
appendfilename "appendonly_7001.aof"
appendfsync everysec
no-appendfsync-on-rewrite no
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
aof-rewrite-incremental-fsync yes

loglevel notice
logfile /apps/redis/logs/redis-7001.logs
maxclients 15000
maxmemory 20gb
maxmemory-policy volatile-lru
protected-mode no


replica-serve-stale-data yes
replica-read-only yes
repl-diskless-sync no
repl-diskless-sync-delay 5
repl-disable-tcp-nodelay no
replica-priority 100
repl-backlog-size 10mb
repl-timeout 120
masterauth 123456
#requirepass 123456

6、假如对数据要求度很高，拷贝appendonly.aof,然后配置里面直接添加 appendonly yes ，重启就可以

7、假如对数据完整度确保百分之百，建议把新集群的master变为老集群的slave 的节点，然后在分离开

8、验证数据完整

y_zilong
关注
  • 0
    点赞
  • 踩
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
redis cluster 数据热迁移
吃顿好的
06-17 524
前言 因为公司服务器架构调整，现在需要将redis cluster迁移到其他机器上，但中间服务又不能停，且数据不能丢失。 环境 原搭建环境的服务器 IP hostname 角色 10.1.24.127 bd127 master 10.1.24.128 bd128 master 10.1.24.129 bd129 master 10.1.24.130 bd130 slave 10.1.24.131 bd131 slave 10.1.24.132 bd132 slave
Redis Cluster数据迁移单实例方案实战
所谓向日葵族
08-02 972
目录 前言 安装 配置文件更改 开始迁移 前言 Redis集群同步迁移的方法有很多，比如redis-port,redis-migrate-tool等工具，本文主要讲CentOS通过redis-migrate-tool从集群迁移到单实例。 redis-migrate-tool 是维品会开源的一款redis数据迁移工具，基于redis复制，快速，稳定，github地址为：https://gi...
redis 单机数据迁移到 redis cluster
shui0527的专栏
02-23 1467
redis 数据迁移
使用redis-shake进行数据迁移(rdb-＞cluster；cluster-＞cluster 两种方式)
weixin_45313628的博客
05-30 976
使用redis-shake进行数据迁移(旧集群bgsave 使用redis-shake 将备份的rdb文件恢复到新集群)
Redis集群数据迁移操作文档
06-29
`rewrite`参数决定在目标Redis已有相同键时是否覆盖，`target.db`指定了迁移数据的目标逻辑数据库名，而`parallel`用于设置并发线程数以提升同步效率。 实际迁移过程中，我们以两个场景为例：一是从一个Redis集群...
codis/redis 迁移redis cluster工具
08-18
Codis到Redis Cluster的迁移工具支持将已经在Codis集群中的数据平滑迁移到Redis Cluster，无需停机，保证业务的连续性。同样，它也支持从Redis迁移到Codis，以及在Redis实例之间进行迁移，这些功能使得数据管理更具...
Redis数据导入导出以及数据迁移的4种方法详解
09-08
第二种方法是通过自定义脚本（例如 `xttblog_redis_mv.sh`）迁移数据。该脚本通过 `redis-cli` 连接源和目标 Redis 实例，获取指定前缀的键并逐个迁移。这种方法的优点是灵活，但不适用于大规模数据迁移，因为它使用...
redis数据迁移
12-07
随着业务的发展，单一Redis实例可能无法满足高可用性、可扩展性的需求，这时就需要进行数据迁移，将Redis单机模式升级到哨兵(Sentinel)集群或Redis Cluster。本文将详细探讨如何进行Redis数据迁移，特别是从单机迁移...
Redis Cluster集群数据分片机制原理
09-08
在数据迁移或故障恢复过程中，Redis Cluster 通过心跳检测和槽状态跟踪确保集群的可用性。如果主节点发生故障，从节点将自动接管其槽，继续提供服务。整个过程自动化程度高，能够有效降低运维复杂性。 总结来说，...
开发环境redis-6.2.4 cluster搭建
y_zilong的博客
01-06 2964
由于Redis Labs Redis 6.0.3之前版本存在拒绝服务漏洞。该漏洞源于lua_struct.c中的“getnum”函数中的整数溢出。远程攻击者可利用该漏洞通过发送大量的特制命令导致堆栈缓冲区溢出，从而造成拒绝服务 现在进行redis cluster集群升级 10.8.17.227 端口6389 6390 10.8.17.228 端口6389 6390 10.8.17.229 端口6389 6390 0、关闭老集群 #按照每台主机关闭 [root@BJ-HW-VM-17-227
redis高可用 哨兵（Sentinel），主从复制架构
y_zilong的博客
07-01 1929
sentinel进程是用于监控redis集群中master主服务器工作的状态，在master主服务器发生故障的时候，可以实现master和slave服务器的切换，保证系统的高可用 sentinel中的三个定时任务 每10秒每个sentinel对master和slave执行info 发现slave节点 确认主从关系 每2秒每个sentinel通过master节点的channel交换信息（pub/sub） 通过sentinel_:hello频道交互 交互对节点的“看法”和自身信息 每1秒每个sent.
Redis 的持久化 启动AOF功能的正确方式
y_zilong的博客
08-28 900
AOF：按照操作顺序依次将操作追加到指定的日志文件末尾 AOF和RDB一样使用了写时复制机制，AOF默认为每秒钟fsync一次，即将执行的命令保存到AOF文件当中，这样即使redis服务器发生故障的话最多只丢失1秒钟之内的数据，也可以设置不同的fsync策略always，即设置每次执行命令的时候执行fsync，fsync会在后台执行线程，所以主线程可以继续处理用户的正常请求而不受到写入AOF文件的I/O影响 同时启用RDB和AOF，进行恢复时，默认AOF文件优先级高于RDB文件，即会使用AOF进行恢复.
redis的多实例
y_zilong的博客
06-29 624
[root@cen7_17 ~]# ls /apps/redis/ bin data etc log run [root@cen7_17 ~]# tree /apps/redis/ /apps/redis/ ├── bin │ ├── redis-benchmark │ ├── redis-check-aof -> redis-server │ ├── redis-check-rdb -> redis-server │ ├── redis-cli │ ├── red...
一键安装redis脚本
y_zilong的博客
06-30 541
脚本1 [root@cent8_yzl_10 ~]# cat install_redis.sh #!/bin/bash SRC_DIR=/usr/local/src COLOR="echo -e \\033[01;31m" END='\033[0m' CPUS=`lscpu |awk '/^CPU\(s\)/{print $2}'` URL='http://download.redis.io/releases/' VERSION=redis-6.2.2 PASSWORD=123456 INSTALL_.
基于redis 5的redis cluster 部署
y_zilong的博客
07-04 223
1、创建redis cluster集群的环境准备 每个redis节点采用相同的redis版本、相同的密码、硬件配置 每个redis服务器必须没有任何数据 准备六台主机，地址如下 10.0.0.6 10.0.0.16 10.0.0.26 10.0.0.36 10.0.0.46 10.0.0.56 2、启动redis cluster配置 #所有6台主机都执行以下配置 #安装redis 5.0.9脚本 [root@cent7_6 ~]# cat install_redis.sh #!/bin/
利用原生命令手动部署redis cluster
y_zilong的博客
07-03 218
1、在所有节点安装redis并启动cluster功能 #在所有6个节点上都执行下面相同操作 #redis安装脚本 [root@cent7_6 ~]# cat install_redis.sh #!/bin/bash SRC_DIR=/usr/local/src COLOR="echo -e \\033[01;31m" END='\033[0m' CPUS=`lscpu |awk '/^CPU\(s\)/{print $2}'` URL='http://download.redis.io/relea
Redis的主从复制架构
y_zilong的博客
07-01 168
主从复制实现原理 Redis Slave 也要开启持久化并设置和master同样的连接密码，因为后期slave会有提升为master的可 能,Slave 端切换master同步后会丢失之前的所有数据,而通过持久化可以恢复数据 一旦某个Slave成为一个master的slave，Redis Slave服务会清空当前redis服务器上的所有数据并将 master的数据导入到自己的内存，但是如果只是断开同步关系后,则不会删除当前已经同步过的数据。 当配置Redis复制功能时，强烈建议打开主服务器的持久化功
Redis 深度历险：核心原理与应用实践 - 读书笔记
最新发布
风中的默默
07-17 1104
不过你也不必过于担心，因为 Redis 对 HyperLogLog 的存储进行了优化，在计数比较小时，它的存储空间采用稀疏矩阵存储，空间占用很小，仅仅在计数慢慢变大、稀疏矩阵占用空间渐渐超过了阎值时，才会一次性转变成稠密矩阵，才会占用 12KB的空间。数据段是由很多操作系统的页面组合而成，当父进程对其中一个页面的数据进行修改时，会将被共享的页面复制一份分离出来，然后对这个复制的页面进行修改，每个页面的大小只有 4KB。用户看到错误对话框后，会先阅读对话框的内容，再点击重试，这样就可以起到人工延时的效果。
redis-cluster数据自动迁移
07-14
Redis Cluster 提供了自动数据迁移的功能。当集群中的某个节点下线或者上线时，Redis Cluster 会自动将该节点上的数据迁移到其他节点上，以保持数据的平衡分布。 具体来说，当一个节点下线时，Redis Cluster 会根据一定的算法将该节点上的部分槽迁移到其他节点上。槽是 Redis Cluster 用来划分数据的逻辑单位，一个 Cluster 包含 16384 个槽，每个节点可以负责多个槽。当一个节点下线时，Redis Cluster 会将该节点负责的槽均匀地迁移到其他节点上。 同样地，当一个新节点上线时，Redis Cluster 也会根据一定的算法将部分槽从其他节点迁移到该新节点上，以保持数据的平衡分布。 需要注意的是，当某个节点下线或者上线时，会触发数据迁移，这个过程可能会对集群的性能产生一定的影响。因此，在生产环境中，需要谨慎地操作节点的上线和下线。 另外，为了提高数据迁移的效率，可以通过增加节点的数量来减少迁移的数据量。在 Redis Cluster 中，每个节点可以负责多个槽，因此增加节点的数量可以增加集群的总槽数，从而减少数据迁移的数量。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

y_zilong

一分钱的肯定

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值