ETCD集群故障应急恢复-本地数据可用

已于 2022-05-22 23:59:26 修改
阅读量1.5k 收藏 4
点赞数
分类专栏： Etcd 文章标签： etcd docker kubernetes
于 2022-05-22 23:43:14 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43845924/article/details/124918171
版权

系列文章目录

文章目录

前言

如果整个etcd集群的所有节点宕机，并且通过常规节点重启，无法完成选主，集群无法恢复。本文针对这种情况进行集群恢复指导

一、总体恢复流程

整体的恢复流程如下
选择一个数据可用的节点
使用强启动的方式启动一个单节点集群
逐一将其他节点添加到集群中
集群完成数据同步并恢复

二、集群故障恢复

2.1 环境信息

使用本地的vmstation创建3个虚拟机，信息如下

节点名称节点IP节点配置操作系统Etcd版本Docker版本
etcd1192.168.82.1281c1g 20gCentOS7.4v3.513.1
etcd2192.168.82.1291c1g 20gCentOS7.4v3.513.1
etcd3192.168.82.1301c1g 20gCentOS7.4v3.513.1

由于各种原因，整个集群无法完成选主。本次选择etcd1节点，作为最开始启动的节点。

2.2 启动第一个节点

2.2.1 etcd1节点需要调整启动参数，启动脚本如下

[root@host-1 /]# cat start_etcd_with_force_new_cluster.sh 
#! /bin/sh

name="etcd1"
host="192.168.92.128"
cluster="etcd1=http://192.168.92.128:2380"

docker run -d --privileged=true  -p 2379:2379  -p 2380:2380 -v /data/etcd:/data/etcd   --name $name --net=host  quay.io/coreos/etcd:v3.5.0   /usr/local/bin/etcd --name $name   --data-dir /data/etcd   --listen-client-urls http://$host:2379  --advertise-client-urls http://$host:2379 --listen-peer-urls http://$host:2380   --initial-advertise-peer-urls http://$host:2380   --initial-cluster $cluster  --initial-cluster-token tkn   --initial-cluster-state new --force-new-cluster  --log-level info   --logger zap   --log-outputs stderr

关键参数如下

  • –data-dir /data/etcd，需要从当前保存的数据目录加载
  • –force-new-cluster，强制启动集群
  • –initial-cluster-state new，启动一个新集群，跟–force-new-cluster配合使用
  • –initial-cluster $cluster，只配置本节点，形成一个单节点集群

2.2.2 验证集群是否启动

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table member list
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table endpoint status

在这里插入图片描述

2.2 添加第二个节点

2.2.1 添加第2个节点到集群中

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379
etcdctl --endpoints=$ETCD_ENDPOINTS member add etcd2 --peer-urls=http://192.168.92.129:2380

在这里插入图片描述
此时由于整体集群是2个节点，第2个节点没有启动，因此不符合raft协议，第1个节点会宕机，需要尽快将第2个节点启动，整体集群才能恢复正常。

2.2.2 删除第2个节点的数据

mv /data/etcd /data/etcd.bak
mkdir -p /data/etcd/

备份数据（以防万一），并创建一个空的数据目录，启动时加入到集群中，并同步数据

2.2.2 启动第2个节点
第2个节点的启动脚本如下

[root@host-2 /]# cat start_etcd.sh 
#! /bin/sh

name="etcd2"
host="192.168.92.129"
cluster="etcd1=http://192.168.92.128:2380,etcd2=http://192.168.92.129:2380"

docker run -d --privileged=true  -p 2379:2379  -p 2380:2380 -v /data/etcd:/data/etcd   --name $name --net=host  quay.io/coreos/etcd:v3.5.0   /usr/local/bin/etcd --name $name   --data-dir /data/etcd   --listen-client-urls http://$host:2379  --advertise-client-urls http://$host:2379 --listen-peer-urls http://$host:2380   --initial-advertise-peer-urls http://$host:2380   --initial-cluster $cluster  --initial-cluster-token tkn   --initial-cluster-state existing   --log-level info   --logger zap   --log-outputs stderr

关键参数如下

  • –data-dir /data/etcd，需要从当前保存的数据目录加载
  • –initial-cluster-state existing，加入已有集群
  • –initial-cluster $cluster，只配置2个节点，形成一个2节点集群

2.2.3 查看集群状态

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379,192.168.92.129:2379
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table member list
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table endpoint status

在这里插入图片描述
说明
1、etcd的raft协议进行选主时，会考虑数据的offset，offset越大，倾向于获取选主的选票，因此在这种情况下，会选择etcd1作为主

2.3 添加第三个节点

2.2.1 添加第3个节点到集群中

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379
etcdctl --endpoints=$ETCD_ENDPOINTS member add etcd3 --peer-urls=http://192.168.92.130:2380

在这里插入图片描述

此时由于整体集群是3个节点，已经有2个节点正常，因此添加第3个节点并不会影响当前的选主情况。

2.2.2 删除第3个节点的数据

mv /data/etcd /data/etcd.bak
mkdir -p /data/etcd/

备份数据（以防万一），并创建一个空的数据目录，启动时加入到集群中，并同步数据

2.2.2 启动第3个节点
第2个节点的启动脚本如下

[root@host-2 /]# cat start_etcd.sh 
#! /bin/sh

name="etcd3"
host="192.168.92.130"
cluster="etcd1=http://192.168.92.128:2380,etcd2=http://192.168.92.129:2380,etcd3=http://192.168.92.130:2380"

docker run -d --privileged=true  -p 2379:2379  -p 2380:2380 -v /data/etcd:/data/etcd   --name $name --net=host  quay.io/coreos/etcd:v3.5.0   /usr/local/bin/etcd --name $name   --data-dir /data/etcd   --listen-client-urls http://$host:2379  --advertise-client-urls http://$host:2379 --listen-peer-urls http://$host:2380   --initial-advertise-peer-urls http://$host:2380   --initial-cluster $cluster  --initial-cluster-token tkn   --initial-cluster-state existing   --log-level info   --logger zap   --log-outputs stderr

关键参数如下

  • –data-dir /data/etcd，需要从当前保存的数据目录加载
  • –initial-cluster-state existing，加入已有集群
  • –initial-cluster $cluster，配置3个节点，形成一个3节点集群

2.2.3 查看集群状态

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379,192.168.92.129:2379,192.168.92.130:2379
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table member list
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table endpoint status

在这里插入图片描述

2.4 调整第1个节点的启动参数

第1个节点的启动参数按照如下方式调整，否则每次第1个节点重启后，会重新创建一个集群，明显是不合适的。

[root@host-2 /]# cat start_etcd.sh 
#! /bin/sh

name="etcd1"
host="192.168.92.128"
cluster="etcd1=http://192.168.92.128:2380,etcd2=http://192.168.92.129:2380,etcd3=http://192.168.92.130:2380"

docker run -d --privileged=true  -p 2379:2379  -p 2380:2380 -v /data/etcd:/data/etcd   --name $name --net=host  quay.io/coreos/etcd:v3.5.0   /usr/local/bin/etcd --name $name   --data-dir /data/etcd   --listen-client-urls http://$host:2379  --advertise-client-urls http://$host:2379 --listen-peer-urls http://$host:2380   --initial-advertise-peer-urls http://$host:2380   --initial-cluster $cluster  --initial-cluster-token tkn   --initial-cluster-state existing   --log-level info   --logger zap   --log-outputs stderr

并重启etcd1节点

总结

集群无法完成选主时，可以通过这种强启动集群的方式，进行恢复。这是一种兜底方案，也是最后的手段

李姓门徒
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
k8s集群中ETCD备份和恢复
贾文超的博客
09-05 3353
etcd备份和恢复
etcd集群恢复、单节点恢复操作手册
最新发布
weixin_43539320的博客
05-13 1174
​ 生产环境中，经常遇到etcd集群出现单节点故障或者集群故障。针对这两种情况，进行故障修复。以下为介绍etcd的集群全部节点故障时，故障应急的恢复手册​ 生产环境中，经常遇到etcd集群出现单节点故障或者集群故障。针对这两种情况，进行故障修复。本文介绍etcd的单节点故障时，故障应急的恢复手册。
etcd 集群恢复
weixin_30770783的博客
05-20 676
七个节点，挂了5个，etcd无法访问 参考: https://coreos.com/etcd/docs/latest/op-guide/recovery.html 此次我只恢复了v3的数据 在存活的节点上 export ETCDCTL_API=3 alias etcdctl="etcdctl --endpoints=https://109.105.1.253:2379 ...
Kubernetes的ETCD集群备份、恢复
南宫乘风-Linux运维-虚拟化容器-Python编程 ownit.top
03-10 3050
首先，我们使用Kubernetes的都知道，etcd是k8s的核心所在，会记录各个pod的状态信息。所以重要性极为重要。 etcd是kubernetes集群极为重要的一块服务，存储了kubernetes集群所有的数据信息，如Namespace、Pod、Service、路由等状态信息。如果etcd集群发生灾难或者 etcd 集群数据丢失，都会影响k8s集群数据的恢复。因此，通过备份etcd数据来实现kubernetes集群的灾备环境十分重要。 我们一点要养成，重要的东西备份、备份、在备份的习惯。 E
Etcd集群故障恢复
因上努力，果上随缘。但行好事，莫问前程。
12-21 401
【代码】Etcd故障恢复。
Etcd 集群故障恢复详细步骤
CodingDemo
06-28 2206
member信息会持久化到磁盘上，数据丢失的节点必须以新的member身份加入，必须严格按照如下操作： 1. 移除failure节点：使用member remove命令剔除错误节点。保证当前集群的健康状况。 2. 彻底清理数据目录：错误节点必须停止服务，然后删除data dir。保证member信息被清理干净，清空member目录。 3. 集群扩容：使用member add命令添加步骤1的故障节点。 4. 重新启动：步骤1的故障节点进行启动
etcd-v3.5.2-linux-amd64.tar.gz
09-20
3. **故障恢复**：etcd使用多副本架构，可以配置为运行多个实例，形成一个集群。如果一个实例失败，其他实例可以接管并保持服务的连续性，确保集群的高可用性。 4. **版本控制**：etcd支持版本控制，这意味着每个键...
springboot整合etcd配置中心-etcd-config-spring-boot.zip
11-06
1. **设置环境**：首先确保你已经安装了Etcd服务，可以在本地或集群环境中运行。然后在项目中引入Spring Cloud Config和Etcd的相关依赖，例如`spring-cloud-starter-config`和`spring-cloud-starter-etcd-config`。 ...
etcd集群备份和数据恢复.md
10-18
etcd集群备份和数据恢复
windows版本 etcd-v3.5.0-windows-amd64
07-14
etcd支持多节点集群模式，以实现高可用性。在Windows上配置集群，需要为每个节点分配一个唯一的名称，指定其他节点的地址，并设置初始集群状态。可以通过`--name`、`--initial-cluster`和`--initial-cluster-state`...
etcd-manager-1.2.0-win64 etcd数据库管理客户端
11-23
etcd-manager-1.2.0-win64是一款专为Windows平台设计的etcd数据库管理客户端，它提供了方便的交互式界面和命令行工具，帮助用户有效地管理和操作etcd集群。etcd是CoreOS开发的一个分布式键值存储系统，常用于分布式...
etcd v3集群备份和恢复
weixin_30722589的博客
03-29 232
官方文档 https://github.com/etcd-io/etcd/blob/master/Documentation/op-guide/recovery.md 一、运行3个etcd节点 我们用一台机器的不同商品来模拟3个etcd节点 启动脚本差不多，这里我写成了一个shell如下，vim /home/chenqionghe/etcdTest/run-node.sh #!/usr/bin/e...
备份和恢复Kubernetes集群中的Etcd数据
JAVAQXQ的博客
08-05 248
Kubernetes作为目前最炙手可热的容器编排软件，受到越来越多互联网公司的喜爱，之所以会出现这样的现象，主要还是因为这套编排软件不仅功能强大，还非常方便进行二次开发，整个Kubernetes的生态圈非常活跃。Apiserver，Controller Manager，Scheduler，Proxy可以认为是这套“骨架”的组成部分，而Etcd便是这套系统的底座，整个系统的数据都存储在它当中，保证了Etcd的稳定性整个容器编排系统的稳定性就有了保证。4，使用备份的快照，恢复数据。p2和p3节点类似。...
【考点】CKA 05_为 Kubernetes 运行 etcd 集群 etcd 备份与恢复
weixin_47133613的博客
06-09 1105
【【【【【【原题：k8s版本升级】】】】】】 1： master节点 升级master节点 升级1.22.2 yum install [root@k8s1 ~]# yum install -y kubeadm-1.22.2-0 [root@k8s1 ~]# kubeadm version kubeadm version: &version.Info{Major:“1”, Minor:“22”, GitVersion:“v1.22.2”, GitCommit:“8b5a19147530eaac9476
ETCD 应急方案
weixin_42561847的博客
03-10 642
[TOC]ETCD 应急方案​​ETCD 常见 FAQ​​基本概念etcd 是一个分布式的、可靠的 key-value 存储系统，它用于存储分布式系统中的关键数据一个 etcd 集群，通常会由 3 个或者 5 个节点组成，多个节点之间通过 Raft 一致性算法的完成分布式一致性协同，算法会选举出一个主节点作为 leader...
ETCD节点故障恢复
weixin_30786657的博客
01-15 836
我在微服务组里面主要负责配置中心的构建，我们的配置中心使用到了ETCD。在我们的内网环境中搭建了三个节点的ETCD，不过这三个节点的ETCD都搭建在同一台机器上。后来机器资源不够了系统直接kill了ETCD，导致内网的ETCD三个节点全部挂掉了。刚开始想逐个启动就完事了，但是按照之前的data-dir启动之后发现三个节点握手存在问题，原因是三个节点缓存数据的data目录里面都有节点以及数据信息，导...
记etcd节点故障恢复
武小白的博客
04-19 652
故障原因： 电脑断电，导致etcd集群有一个节点启动失败，比对了数据目录，应该是数据不一致导致的。故障现象： etcd服务启动失败，日志中有如下报错： recovering backend from snapshot error: database snapshot file pat...
Etcd备份恢复进阶-k8s+Velero+minio-Day 06
热门推荐
qq_42515722的博客
08-07 1万+
使用velero和minio对etcd指定资源备份恢复
关于k8s中ETCD集群备份灾难恢复的一些笔记
山河已无恙
03-04 1483
集群电源不稳定，或者节点动不动就 宕机,一定要做好备份，ETCD的快照文件很容易受影响损坏。重置了很多次集群，才认识到备份的重要博文内容涉及etcd 运维基础知识了解静态 Pod 方式 etcd 集群灾备与恢复 Demo定时备份的任务编写二进制 etcd 集群灾备恢复 Demo理解不足小伙伴帮忙指正我所渴求的，無非是將心中脫穎語出的本性付諸生活，為何竟如此艱難呢 ------赫尔曼·黑塞《德米安》etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值