ip变更造成的redis集群不可用的解决及数据备份和恢复

最新推荐文章于 2024-10-14 00:07:29 发布
最新推荐文章于 2024-10-14 00:07:29 发布
阅读量5.7k 收藏 4
点赞数 1
分类专栏： redis 文章标签： redis 集群 数据备份
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/u011535541/article/details/78470862
版权

今天打开电脑，连接redis，发现连接不上了...


原因是找不到主机...查看虚拟机ip，发现ip变了...


于是想到之前配置redis集群的时候，在redis.conf中配置了bind为虚拟机的ip地址，觉得应该是这个原因，于是修

配置bind：127.0.0.1，重启集群，想想应该是没问题了，但是...



服务启起来了，ip也显示为127.0.0.1，但是进行check的时候报了异常，can't connect to node 192.168.21.128...是的 

连的还是旧的ip...设置了bind属性貌似不起作用，于是尝试去查询资料，没有找到解决方案，感觉是集群已经被我玩坏了，

其实仔细一想redis一定是把一些参数保存在了其集群的配置文件中，check的时候是去配置文件中读取ip的。

如下图，进入其中一个节点的配置文件：


appendonly.aof和dump.rdb是持久化的数据备份文件，redis.conf是配置文件，redis-server及redis-cli是执行redis启动，

连接等操作的脚本，nodes-8001.conf和redis.pid分别对应redis.conf中的cluster-config-file和pidfile属性，猜想应该是和

这两个文件有关系，有两个解决方案，第一研究源码，去修改两个文件中的相关配置，可能会出现不可预知的问题，

第二个方案重新搭建集群，简单粗暴但是一定有效，当然前提是对数据做好备份。我选择了第二种，顺便能搞下数据

的恢复。首先新建一个文件夹,将备份文件移过去，之后将除redis.conf,redis-cli和redis-server以外的文件全部移除



这个时候的集群配置应该已经完全没了，尝试重新搭建集群






此时的几个redis服务都没有任何key，集群搭建相当顺利！这个时候check已经成功了，ip顺利的变成了重新配置的

127.0.0.1，现在尝试对数据进行恢复具体步骤是将之前的转移的备份文件覆盖新生成的备份文件，然后重启redis服务，

这里使用aof来恢复数据





重启之后乍一看是恢复成功了，但是check的时候发现了异常


且get数据也有问题


到这一步，我挖了个大坑....fix不成功之后我直接将1243和5798两个槽设成了stable，check是成功了，但是get key根本

get不到数据，可以说数据被我玩坏了...第一次失败了，不过反正之前的备份文件还在，重头再来吧...移除配置、重新搭建

集群、覆盖备份文件、重启服务，遇到了同样的问题，果然还是原来的配方....不过这次学聪明了，经过一番研究，我找到

了某个博主的fix经验，原来之前每次使用fix都失败是这样的原因！！这里引用下这位博主的总结经验。

fix的作业流程：

1、先检查该slot是谁负责的，迁移的源节点如果没完成迁移，owner还是该节点。没有owner的slot无法完成修复功能。
2、遍历每个节点，获取哪些节点标记该slot为migrating状态，哪些节点标记该slot为importing状态。对于owner不是该节点，但是通过cluster countkeysinslot获取到该节点有数据的情况，也认为该节点为importing状态。
3、如果migrating和importing状态的节点均只有1个，这可能是迁移过程中redis-trib.rb被中断所致，直接执行move_slot继续完成迁移任务即可。传递dots和fix为true。
4、如果migrating为空，importing状态的节点大于0，那么这种情况执行回滚流程，将importing状态的节点数据通过move_slot方法导给slot的owner节点，传递dots、fix和cold为true。接着对importing的节点执行cluster stable命令恢复稳定。
5、如果importing状态的节点为空，有一个migrating状态的节点，而且该节点在当前slot没有数据，那么可以直接把这个slot设为stable。
6、如果migrating和importing状态不是上述情况，目前redis-trib.rb工具无法修复，上述的三种情况也已经覆盖了通过redis-trib.rb工具迁移出现异常的各个方面，人为的异常情形太多，很难考虑完全

我的理解是须要通过fix修复异常slot，须要明确告诉redisslot的目标节点是哪个，源节点是哪个，而我之前的一系列操作造成了

两个问题slot只存在目标节点，把源节点丢失了（因为check的时候发现只有importing状态，而没有migrating状态），那fix当然

不成功啊！

修改如下：



为这两个问题节点指定源节点，重新fix，成功，且数据恢复正常。最后对比下第一次fix失败打印的日志和fix成功

打印的日志。

失败日志：


成功日志：



总结：

1.搭建redis集群，服务器的ip必须要设置成固定

2.对问题slot，不要轻易设置stable,很容易造成数据丢失

3.后面的集群测试发现即使migrating和imorting状态都存在，依然可能fix失败（不得不吐槽，redis-cluster的坑有很多啊）

此时可以使用CLUSTER SETSLOT <slot> NODE <node_id>搭配CLUSTER BUMPEPOCH来强制集群的其他节点同意slot

的归属。

CLUSTER BUMPEPOCH参考：Redis Cluster迁移目标节点宕机下填坑


集群命令汇总

CLUSTER INFO 打印集群的信息

CLUSTER NODES 列出集群当前已知的所有节点（node），以及这些节点的相关信息。

节点

CLUSTER MEET <ip> <port> 将 ip和 port所指定的节点添加到集群当中，让它成为集群的一份子。

CLUSTER FORGET <node_id> 从集群中移除 node_id指定的节点。

CLUSTER REPLICATE <node_id> 将当前节点设置为 node_id指定的节点的从节点。

CLUSTER SAVECONFIG 将节点的配置文件保存到硬盘里面。

槽(slot)

CLUSTER ADDSLOTS <slot> [slot ...] 将一个或多个槽（slot）指派（assign）给当前节点。

CLUSTER DELSLOTS <slot> [slot ...] 移除一个或多个槽对当前节点的指派。

CLUSTER FLUSHSLOTS 移除指派给当前节点的所有槽，让当前节点变成一个没有指派任何槽的节点。

CLUSTER SETSLOT <slot> NODE <node_id> 将槽 slot指派给 node_id指定的节点，如果槽已经指派给另一个节点，那么先让另一个节点删除该槽>，然后再进行指派。

CLUSTER SETSLOT <slot> MIGRATING <node_id> 将本节点的槽 slot迁移到 node_id指定的节点中。

CLUSTER SETSLOT <slot> IMPORTING <node_id> 从node_id指定的节点中导入槽 slot到本节点。

CLUSTER SETSLOT <slot> STABLE 取消对槽 slot的导入（import）或者迁移（migrate）。

键

CLUSTER KEYSLOT <key> 计算键 key应该被放置在哪个槽上。

CLUSTER COUNTKEYSINSLOT <slot> 返回槽 slot目前包含的键值对数量。

CLUSTER GETKEYSINSLOT <slot> <count> 返回count个 slot槽中的键。


阿踏踏踏踏
关注
专栏目录
Redis集群模式详解与部署
背锅神童的博客
05-17 678
Redis的高可用解决方案，主从复制架构、哨兵模式架构、集群模式架构
Redis高可用架构
Mr.xing的博客
01-13 1035
Redis高可用架构
IP变更导致redis集群不可用解决办法
qq_33498504的博客
09-30 1313
IP变更导致redis集群不可用解决办法 原因: 服务器搬迁导致ip变更，集群不可用 解决思路: 备份各节点数据，重新初始化集群，导入数据 环境说明: reids 版本 redis-4.0.9 集群结构: 三主三从,使用 redis-trib工具 停止集群所有节点 备份每个节点的数据及集群信息文件:appe...
记录：Kubernetes 部署 Redis 集群，重启整个 Kubernetes 集群，导致 Redis 集群不可用
sir_XiaoMing的博客
09-24 342
2. 根据上述文档部署好Redis后， 启用一个单独装有redis的ubuntu容器（也可以进入到已经启动的redis任意一个容器内），执行 Redis 集群初始化步骤。redis-service：Headless Service 名称。redis-0：pod 名称。
Redis集群相关
最新发布
水w的博客
10-14 759
Redis集群相关
Redis集群中故障恢复
我的博客
04-29 331
Redis集群中故障恢复
Redis 集群修复
右后方，天才的博客
02-23 867
1.检查状态（仅局限于集群模式） 例如：redis-trib.rb check 10.164.3.193:8001 不正常状态会出现slots报错需要用redis-trib.rb fix修复 redis-trib.rb f IP:prod 例如：redis-trib.rb f 10.164.3.193:8001 修复完成在次检查一下,如果还是报错执行第三部 2.数据文件备份 当出现slots出错。Fix修复不了的情况，代表redis nodes配置文件发生错误需要用备份配置文件覆盖 Redis配置...
redis中集群的故障恢复
weixin_43919497的博客
06-19 1267
想三个问题 如果主节点下线？从节点能否自动升为主节点？ 主节点恢复后，主从关系会如何？主节点回来变成从机。 如果所有某一段插槽的主从节点都宕掉，redis服务是否还能继续? 问题一和二 当主机宕机时，他的从机晋升为主机提供服务。当主机再次重启时，会变成从机的从机。 比如： 在一个集群的节点中，有A、B两台服务器组成。A为主机，B为从机。当A机发生意外宕机，B机会替代A机成为这个节点的主机，继续提供服务，当A机再次重启时会变成B的从机。 问题三 如果某一段插槽的主从都挂掉，而在配置文件中clust
Redis单机、集群、哨兵、主从架构详解
fudaihb的博客
09-10 1069
Redis 是一个开源的高性能键值对存储数据库，因其高速的数据处理能力，广泛应用于缓存、分布式锁、消息队列等场景。随着 Redis 的应用场景不断增多，部署架构也愈发复杂。本文将详细解析 Redis 的几种常见部署架构：单机模式、主从复制、哨兵模式以及集群模式，深入分析它们的区别、应用场景和配置方法。
Redis全面解析二：redis高可用高并发集群方案
Mr_lisj的博客
05-02 2057
前言 Redis 缓存作为使用最多的缓存工具被各大厂商争相使用。通常我们会使用单体的 Redis 应用作为缓存服务，然而我们日常在对于redis的使用中，经常会遇到一些问题： 高可用问题，如何保证redis的持续高可用性。 容量问题，单实例redis内存无法无限扩充，达到32G后就进入了64位世界，性能下降。 并发性能问题，redis号称单实例10万并发，但也是有尽头的。 如果只使用一个r...
Redis集群中节点更换IP后如何恢复集群且保留数据
洒满阳光的午后的博客
07-16 1916
前段时间在生产中遇到一个问题，即系统需要从一个网段迁移到另一个网段。我们知道redis集群在创建时是指定了节点的ip:port，因此在节点IP变更后，集群自然就失效了。如果需要恢复集群怎么办？当然在大部分情况下，我们可以选择删除所有节点的数据文件dbfilename、持久化文件appendfilename、集群配置文件cluster-config-file，然后重建集群。但是如果需要保留数据，又该怎么操作呢？ 以下以一个三主三从的单副本集群来演示恢复过程： [root@test1 bin]# ./re
redis集群修复
bangzhou8291的博客
09-19 1246
https://www.jianshu.com/p/0c1d4f2af72e 修改node.conf 把其他好的node.conf 复制到故障的目录下 修该正确ip后重启即可 转载于:https://www.cnblogs.com/hanwei666/p/11547877.html...
Redis集群节点更换ip后如何恢复
qq_55754838的博客
11-18 205
这篇文章用来记录一次因ip换了导致redis集群失效后怎么恢复。
修复redis5.0集群
思考的蜗牛
05-13 693
首先由于变换了IP地址，导致启动redis集群的时候报错 [ERR] Node 192.168.8.11:7001 is not empty. Either the node already knows other nodes (check with CLUSTER NODES) or contains some key in database 0. 这个是由于之前就有redis集群的相关文件没有被删除，所以无法启动集群。 删除所以节点文件里面的aof、rdb、nodes的conf文件 然后继.
redis集群内网切换公网IP
小树苗
11-08 836
先把redis cluster 的节点 6380 6381 * 停掉。然后把 6380 6381 * 目录下的nodes.conf文件的ip全部改成新ip ，然后重启这些节点。
ip改变导致Redis集群down掉
weixin_44004647的博客
03-29 886
ip改变导致Redis集群down掉 不足之处欢迎留言 一、问题描述： 以伪分布式集群为例，虚拟机主机ip改变，导致redis集群不可用。 二、解决办法： 1、关闭每个redis节点 查看进程：ps -ef | grep redis kil掉每个节点：kill -9 每个进程id 2、删除持久化文件和节点信息文件 进入每一个节点，有dump.rdb持久化文件和nodes...
Redis——Redis的扩展与应用
庄小焱
04-02 1509
Redis 和 Memcached 的区别？ Redis的高级的数据结构 String、Hash、List、Set、SortedSet。HyperLogLog、Geo、Pub/Sub。那你说还玩过Redis Module，像BloomFilter，RedisSearch，Redis-ML 避免缓存穿透的利器之BloomFilter 如果有大量的key需要设置同一时间过期，一般需要注意什么？ 如果大量的key过期时间设置的过于集中，到过期的那个时间点，Redis可能会出现短暂的卡顿现象。严重的.
Redis 6.x 集群操作和故障恢复
weixin_45417821的博客
09-09 717
文章目录什么是slots在集群中录入值查询集群中的值故障恢复 什么是slots [OK] All nodes agree about slots configuration. Check for open slots… Check slots coverage… [OK] All 16384 slots covered. 一个 Redis 集群包含 16384 个插槽（hash slot）， 数据库中的每个键都属于这 16384 个插槽的其中一个， 一个 Redis 集群包含 16384 个插槽
Redis集群更换节点IP后如何恢复集群并保留完整集群数据
非著名运维的博客
06-09 1531
Redis集群更换节点IP后如何恢复集群并保留完整集群数据
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值