ETCD集群故障应急恢复-从snapshot恢复

最新推荐文章于 2024-05-23 11:36:22 发布
最新推荐文章于 2024-05-23 11:36:22 发布
阅读量3.2k 收藏 20
点赞数 20
分类专栏： Etcd 文章标签： etcd docker kubernetes
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43845924/article/details/124975494
版权

系列文章目录

文章目录

前言

如果整个etcd集群的所有节点宕机，并且通过常规节点重启，无法完成选主，集群无法恢复。本文针对这种情况进行集群恢复指导。如果本地的数据已经损坏，只能通过历史的snapshot进行恢复（前提是保存有snapshot数据）

一、总体恢复流程

整体的恢复流程如下
选择一个snapshot数据
选择一个节点并进行数据恢复
使用强启动的方式启动一个单节点集群
逐一将其他节点添加到集群中
集群完成数据同步并恢复

二、集群故障恢复

2.1 环境信息

使用本地的vmstation创建3个虚拟机，信息如下

节点名称节点IP节点配置操作系统Etcd版本Docker版本
etcd1192.168.82.1281c1g 20gCentOS7.4v3.513.1
etcd2192.168.82.1291c1g 20gCentOS7.4v3.513.1
etcd3192.168.82.1301c1g 20gCentOS7.4v3.513.1

模拟数据，并查看数据情况

export ETCDCTL_API=3
ETCD_ENDPOINTS=192.168.92.128:2379,192.168.92.129:2379,192.168.92.130:2379
for i in {1..100};do etcdctl --endpoints=$ETCD_ENDPOINTS put "/foo-$i" "hello";done
etcdctl --endpoints=$ETCD_ENDPOINTS  get / --prefix --keys-only|wc -l

进行snapshot备份

export ETCDCTL_API=3
ETCD_ENDPOINTS=192.168.92.128:2379
etcdctl --endpoints=$ETCD_ENDPOINTS  snapshot save snapshot.db

备份文件为snapshot.db

2.2 选择一个节点恢复备份数据

2.2.1 从snapshot数据恢复

mv /data/etcd /data/etcd.bak
export ETCDCTL_API=3
ETCD_ENDPOINTS=192.168.92.128:2379
etcdctl --endpoints=$ETCD_ENDPOINTS  snapshot restore snapshot.db --name=etcd1 --initial-cluster etcd1=http://192.168.92.128:2380 --initial-advertise-peer-urls http://192.168.92.128:2380 --data-dir=/data/etcd

在这里插入图片描述

2.2.2 etcd1节点需要调整启动参数，启动脚本如下

[root@host-1 /]# cat start_etcd_with_force_new_cluster.sh 
#! /bin/sh

name="etcd1"
host="192.168.92.128"
cluster="etcd1=http://192.168.92.128:2380"

docker run -d --privileged=true  -p 2379:2379  -p 2380:2380 -v /data/etcd:/data/etcd   --name $name --net=host  quay.io/coreos/etcd:v3.5.0   /usr/local/bin/etcd --name $name   --data-dir /data/etcd   --listen-client-urls http://$host:2379  --advertise-client-urls http://$host:2379 --listen-peer-urls http://$host:2380   --initial-advertise-peer-urls http://$host:2380   --initial-cluster $cluster  --initial-cluster-token tkn   --initial-cluster-state new --force-new-cluster  --log-level info   --logger zap   --log-outputs stderr

关键参数如下

  • –data-dir /data/etcd，需要从当前保存的数据目录加载
  • –force-new-cluster，强制启动集群
  • –initial-cluster-state new，启动一个新集群，跟–force-new-cluster配合使用
  • –initial-cluster $cluster，只配置本节点，形成一个单节点集群

2.2.3 查看数据是否一致

export ETCDCTL_API=3
ETCD_ENDPOINTS=192.168.92.128:2379
etcdctl --endpoints=$ETCD_ENDPOINTS  get / --prefix --keys-only|wc -l

在这里插入图片描述
2.2.4 验证集群是否启动

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table member list
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table endpoint status

在这里插入图片描述

2.2 添加第二个节点

2.2.1 添加第2个节点到集群中

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379
etcdctl --endpoints=$ETCD_ENDPOINTS member add etcd2 --peer-urls=http://192.168.92.129:2380

在这里插入图片描述
此时由于整体集群是2个节点，第2个节点没有启动，因此不符合raft协议，第1个节点会宕机，需要尽快将第2个节点启动，整体集群才能恢复正常。

2.2.2 删除第2个节点的数据

mv /data/etcd /data/etcd.bak
mkdir -p /data/etcd/

备份数据（以防万一），并创建一个空的数据目录，启动时加入到集群中，并同步数据

2.2.2 启动第2个节点
第2个节点的启动脚本如下

[root@host-2 /]# cat start_etcd.sh 
#! /bin/sh

name="etcd2"
host="192.168.92.129"
cluster="etcd1=http://192.168.92.128:2380,etcd2=http://192.168.92.129:2380"

docker run -d --privileged=true  -p 2379:2379  -p 2380:2380 -v /data/etcd:/data/etcd   --name $name --net=host  quay.io/coreos/etcd:v3.5.0   /usr/local/bin/etcd --name $name   --data-dir /data/etcd   --listen-client-urls http://$host:2379  --advertise-client-urls http://$host:2379 --listen-peer-urls http://$host:2380   --initial-advertise-peer-urls http://$host:2380   --initial-cluster $cluster  --initial-cluster-token tkn   --initial-cluster-state existing   --log-level info   --logger zap   --log-outputs stderr

关键参数如下

  • –data-dir /data/etcd，需要从当前保存的数据目录加载
  • –initial-cluster-state existing，加入已有集群
  • –initial-cluster $cluster，只配置2个节点，形成一个2节点集群

2.2.3 查看集群状态

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379,192.168.92.129:2379
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table member list
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table endpoint status
etcdctl --endpoints=$ETCD_ENDPOINTS  get / --prefix --keys-only|wc -l

在这里插入图片描述

说明
1、etcd的raft协议进行选主时，会考虑数据的offset，offset越大，倾向于获取选主的选票，因此在这种情况下，会选择etcd1作为主

2.3 添加第三个节点

2.2.1 添加第3个节点到集群中

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379
etcdctl --endpoints=$ETCD_ENDPOINTS member add etcd3 --peer-urls=http://192.168.92.130:2380

在这里插入图片描述

此时由于整体集群是3个节点，已经有2个节点正常，因此添加第3个节点并不会影响当前的选主情况。

2.2.2 删除第3个节点的数据

mv /data/etcd /data/etcd.bak
mkdir -p /data/etcd/

备份数据（以防万一），并创建一个空的数据目录，启动时加入到集群中，并同步数据

2.2.2 启动第3个节点
第2个节点的启动脚本如下

[root@host-2 /]# cat start_etcd.sh 
#! /bin/sh

name="etcd3"
host="192.168.92.130"
cluster="etcd1=http://192.168.92.128:2380,etcd2=http://192.168.92.129:2380,etcd3=http://192.168.92.130:2380"

docker run -d --privileged=true  -p 2379:2379  -p 2380:2380 -v /data/etcd:/data/etcd   --name $name --net=host  quay.io/coreos/etcd:v3.5.0   /usr/local/bin/etcd --name $name   --data-dir /data/etcd   --listen-client-urls http://$host:2379  --advertise-client-urls http://$host:2379 --listen-peer-urls http://$host:2380   --initial-advertise-peer-urls http://$host:2380   --initial-cluster $cluster  --initial-cluster-token tkn   --initial-cluster-state existing   --log-level info   --logger zap   --log-outputs stderr

关键参数如下

  • –data-dir /data/etcd，需要从当前保存的数据目录加载
  • –initial-cluster-state existing，加入已有集群
  • –initial-cluster $cluster，配置3个节点，形成一个3节点集群

2.2.3 查看集群状态

export ETCDCTL_API=3
export ETCD_ENDPOINTS=192.168.92.128:2379,192.168.92.129:2379,192.168.92.130:2379
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table member list
etcdctl --endpoints=$ETCD_ENDPOINTS --write-out=table endpoint status

在这里插入图片描述

2.4 调整第1个节点的启动参数

第1个节点的启动参数按照如下方式调整，否则每次第1个节点重启后，会重新创建一个集群，明显是不合适的。

[root@host-2 /]# cat start_etcd.sh 
#! /bin/sh

name="etcd1"
host="192.168.92.128"
cluster="etcd1=http://192.168.92.128:2380,etcd2=http://192.168.92.129:2380,etcd3=http://192.168.92.130:2380"

docker run -d --privileged=true  -p 2379:2379  -p 2380:2380 -v /data/etcd:/data/etcd   --name $name --net=host  quay.io/coreos/etcd:v3.5.0   /usr/local/bin/etcd --name $name   --data-dir /data/etcd   --listen-client-urls http://$host:2379  --advertise-client-urls http://$host:2379 --listen-peer-urls http://$host:2380   --initial-advertise-peer-urls http://$host:2380   --initial-cluster $cluster  --initial-cluster-token tkn   --initial-cluster-state existing   --log-level info   --logger zap   --log-outputs stderr

并重启etcd1节点

总结

snapshot是备份的数据，也是最终的数据手段。 由于snapshot的备份一般是周期性的，会有一定的数据丢失。因此最好的选择，应当优先从现有的数据恢复

李姓门徒
关注
  • 20
    点赞
  • 踩
  • 20
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
Kubernetes Etcd 数据备份与恢复
Vic的博客
11-22 2011
文章目录 一、简介 二、备份 Etcd 数据 三、恢复 ETCD 数据 !版权声明：本博客内容均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。 系统环境： Etcd 版本：3.4.3 Kubernetes 版本：1.17.4 Kubernetes 安装方式：Kubeadm 一、简介 Kubernetes 使用 Etcd 数据库实时存储集群中的数据，可以说 Etcd 是 Kubernetes 的核心组件，犹如人类的大脑。如果 Etcd 数据损坏将导致 Kuberne...
etcd-v3.4.14-linux-amd64.tar.gz
12-02
- `etcdctl`是etcd提供的命令行客户端，用于读写etcd中的键值，查看集群状态，进行备份和恢复等操作。 - 常用命令包括：`put`（设置键值）、`get`（获取键值）、`member list`（列出集群成员）等。 6. **etcd在...
k8s学习-CKA真题-Etcd数据库备份恢复
关注网络安全、云原生安全
09-24 2819
针对存在的etcd实例https://127.0.0.1:2379，创建一个快照，保存到/srv/data/etcd-snapshot.db。在创建快照的过程中，如果卡住了，就键入ctrl+c终止，然后重试。然后恢复一个已经存在的快照： /var/lib/backup/etcd-snapshot-previous.db。客户端证书：/opt/KUIN00601/etcd-client.crt。客户端密钥：/opt/KUIN00601/etcd-client.key。删除一个pod，方便验证是否还原成功。
Kubernetes集群上的Etcd备份和恢复
最新发布
didiplus
05-23 945
在本教程中，您将学习如何在Kubernetes集群上使用etcd快照进行etcd备份和恢复。在Kubernetes架构中，etcd是集群的重要组成部分。所有集群对象及其状态都存储在etcd中。为了更好地理解Kubernetes，有几点关于etcd的信息是您需要了解的。
内置ETCD集群利用snapshot恢复数据
alanke_ke的博客
12-27 1284
注意：因为我的etcd集群是部署在K8s内部，通过VolumeMounts的形式做持久化存储，所以此时需要.bak的是宿主机上的（即Volume）路径，而不是容器内部的路径。ETCDCTL_API=3 etcdctl snapshot restore --data-dir ETCDCTL_API=3 etcdctl --endpoints=(注意不要写成K8s内部的IP地址）将该目录移除后各API服务和ETCD服务会停止。
etcd的备份和恢复--基于快照
soliso
01-04 2409
etcd的备份和恢复--基于快照
etcd集群搭建
victor_zxl的博客
01-21 1078
部署为一个 systemd 服务，创建 systemd 服务配置文件 /usr/lib/systemd/system/etcd.service。地址：https://github.com/etcd-io/etcd/releases/tag/v3.4.13。2、使用 openssl 命令创建 etcd 的服务端 CA 证书。配置文件放置在 /etc/etcd/etcd.conf。如果哪一步执行错误可以通过以下脚本快速清理环境。可以选择关闭防火墙或者开放指定端口都行。3、再创建客户端使用的 CA 证书。
k8s外接etcd集群服务异常，使用snapshot恢复etcd集群
wenbo885的博客
12-31 1087
2：etcd的数据计划存储在/var/lib/etcd/目录下，所以删除etcd集群中每个节点/var/lib/etcd/目录下的数据，确保/var/lib/etcd/是空目录，或者/var/lib/etcd/是新创建的目录。生产环境中我们为了避免出现误操作或者是服务器硬件出见异常导致宕机，我们的虚拟机或者k8s集群崩溃，所以我们都会创建多节点的高可用集群，包括k8s集群使用外接etcd集群，但有时也可能出现数据丢失，所以经常要备份数据。4：查看服务状态，以及etcd服务是否启动，集群是否正常。
etcd-v3.4.3-linux-amd64.tar.gz
11-24
此外，定期备份etcd数据是防止数据丢失的关键措施，可以通过`etcdctl snapshot save`命令实现。 总之，etcd是k8s生态系统中的核心组件，理解和掌握其工作原理和管理方法对于k8s的运维至关重要。这个压缩包提供的...
JNDIExploit-1.2-SNAPSHOT
03-20
《深入解析JNDIExploit-1.2-SNAPSHOT：揭示Java远程命名与目录接口的潜在风险》 在IT安全领域，JNDI（Java Naming and Directory Interface）Exploit是一个备受关注的话题，尤其是当我们看到名为“JNDIExploit-1.2-...
java 反序列化利用工具marshalsec-0.0.3-SNAPSHOT-all
12-27
java -cp target/marshalsec-0.0.1-SNAPSHOT-all.jar marshalsec.<Marshaller> [-a] [-v] [-t] [<gadget_type> []] 参数说明： -a：生成exploit下的所有payload(例如：hessian下的...
flume-interceptor-1.0-SNAPSHOT.jar
08-16
注意：flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-1.0-SNAPSHOT.jar flume-interceptor-...
JNDIExploit-1.4-SNAPSHOT.jar
01-10
编译后的JNDIExploit-1.4-SNAPSHOT.jar，可以直接用，1.4版本支持tomcatBypass路由直接上线msf。
etcd 集群部署包 TLS.tar.gz
06-29
在需要时，可以通过加载快照文件来恢复etcd集群的状态。 **总结** "etcd 集群部署包 TLS.tar.gz"是一个专为k8s设计的安全etcd部署方案，包含了TLS加密通信的所有必要组件。通过理解TLS的工作原理和etcd集群的部署...
shiro-attack-4.7.0-SNAPSHOT-all.zip
10-24
标题提到的"shiro-attack-4.7.0-SNAPSHOT-all.zip"很可能是针对Apache Shiro的安全测试工具或者漏洞利用工具包，其主要目的是帮助开发者检测和防范Shiro框架相关的安全问题。 描述中的"序列化验证工具"可能是指该...
fastdfs-client-javajar1.27-SNAPSHOT.zip
05-29
标题中的"fastdfs-client-javajar1.27-SNAPSHOT.zip"是一个Java库的压缩包，它对应的是FastDFS客户端的Java版本。FastDFS是一个开源的、高性能的分布式文件系统，主要解决海量数据存储和负载均衡的问题。在这个特定...
Etcd故障排除--recovering backend from snapshot error: failed to find database snapshot file (snap: snaps
Q先生
06-13 3289
etcd故障恢复--recovering backend from snapshot error: failed to find database snapshot file (snap: snapshot file doesn't exist)
服务器非正常关机（意外掉电、强制拔电）后 etcd 数据损坏，如何恢复etcd集群
dengxiafubi的博客
12-18 3637
问题描述：服务器非正常关机（意外掉电、强制拔电）后 etcd 数据损坏。通过下述现象3或者4能确定是出现了数据损坏问题；现象1和2是表象。 现象：1、因为当前kube-apiserver 是跟本地的 etcd 通信，etcd 数据损坏会导致 apiserver无法启动； 通过在正常节点执行kubectl get pod --namespace kube-system|grep apiserve...
通过备份 Etcd 来完美恢复 Kubernetes 中的误删数据
Johnny_Li的博客
07-22 766
误删除或者服务器宕机，会导致 Etcd 数据的丢失或某个节点的 Etcd 数据异常时，当误删时，需要恢复数据，这个在实际环境当中是不可避免的。以下描述删除两个 namespace 下的 Pod，如何恢复对应 namespace 的数据。 1、操作环境 3 个(master、etcd)+1 个 node 新建 1 个 namespace 下且创建 Pod 和 default namespace ...
etcd恢复到其他集群
05-22
如果您的 Etcd 集群已经崩溃或不可用，您可以使用备份的数据将其恢复到另一个 Etcd 集群。以下是恢复过程的步骤： 1. 确保您有可用的 Etcd 数据备份。在备份数据之前，请确保 Etcd 集群处于正常运行状态。 2. 创建一个新的 Etcd 集群。您可以使用相同的版本和配置选项，也可以使用不同的版本和配置选项。确保新的集群至少有与原始集群相同数量的成员。 3. 将备份数据复制到新集群中的至少一个成员节点上。 4. 使用 Etcdctl 工具将备份数据从成员节点恢复到新集群。您可以使用以下命令： ``` etcdctl snapshot restore backup.db \ --initial-cluster new-node-1=https://10.0.1.10:2380,new-node-2=https://10.0.1.11:2380,new-node-3=https://10.0.1.12:2380 \ --initial-cluster-token etcd-cluster-1 \ --initial-advertise-peer-urls https://10.0.1.10:2380 \ --name new-node-1 ``` 这里的 `backup.db` 是备份数据的文件名，`new-node-1` 是新集群中的节点名称，`https://10.0.1.10:2380` 是新集群中的节点 URL。 5. 启动新集群中的所有成员节点，并确保它们已经成功加入了集群。您可以使用以下命令检查成员节点状态： ``` etcdctl --endpoints=https://10.0.1.10:2379,https://10.0.1.11:2379,https://10.0.1.12:2379 member list ``` 如果所有成员节点都成功加入了集群，则可以开始使用新集群。 请注意，恢复过程可能需要一些时间，具体取决于备份数据的大小和集群的规模。因此，请确保备份数据是最新的，并且在恢复过程中保持耐心。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值