通过备份 Etcd 来完美恢复 Kubernetes 中的误删数据

最新推荐文章于 2024-08-20 11:05:29 发布
最新推荐文章于 2024-08-20 11:05:29 发布
阅读量752 收藏 4
点赞数
分类专栏： kubernetes 文章标签： etcd 数据恢复
原文链接：https://www.tuicool.com/wx/yEJFjuF
版权

误删或者机器宕机，会导致 Etcd 数据的丢失或某个节点的 Etcd 数据异常时， 请不要慌，认真看完此文，绝对有收获 。当误删时，如何恢复数据，这个操作需求在实际环境当中是不可避免的。以下描述删除两个 namespace 下的 Pod，如何恢复对应 namespace 的数据。

操作环境信息

  • 3 个（master、etcd）+1 个 node

  • 新建 1 个 namespace 下且创建 Pod 和 default namespace 下创建 Pod

前提条件

误删除的数据已在 Etcd 备份

数据环境的模拟

新建 test namespace，在该 ns 下创建 Pod，创建成功之后，此时这些数据已存在 Etcd 中

kubectl get pod -n test
NAME                              READY   STATUS    RESTARTS   AGE
details-v1-7d78fc5688-ntvtd       1/1     Running   0          12h
productpage-v1-844495cb4b-qn6l9   1/1     Running   0          12h
ratings-v1-55ccf46fb4-pwqw7       1/1     Running   0          12h
reviews-v1-68bb7b8c4f-h6vr9       1/1     Running   0          12h

在 default namespace 创建 Pod，如下所示，创建成功之后，此时这些数据已存在 Etcd 中

kubectl get pod
NAME                      READY   STATUS    RESTARTS   AGE
nginx-6db489d4b7-jdfkw    1/1     Running   0          12h
nginx1-675bf6c9f-jndrx    1/1     Running   0          12h
nginx2-6dfc958b55-vgsc4   1/1     Running   0          12h
nginx3-8f65b44f9-2pk4l    1/1     Running   0          12h
nginx4-9bb966479-svhs6    1/1     Running   0          12h
nginx5-7d4d998c6c-7xlp8   1/1     Running   0          12h
nginx6-79444687cf-rc8vk   1/1     Running   0          12h

在某目录下已存放包含上述产生数据的 Etcd 快照

ls
member  snapshot.db

模拟数据的删除

default 和 test namespace 下 Pod 都被干掉

kubectl get pod
No resources found in default namespace.
[root@node1 etcd-2021-01-19_02:00:01]# kubectl get pod -n test
No resources found in test namespace.

数据的恢复

准备工作

停止所有 master 上 kube-apiserver 服务，因为和 Etcd 交互是 kube-apiserver。此步骤不会影响正常运行的 Pod。

  • 所有 master 机器上操作如下指令,将 kube-apiserver.yaml 文件移除当前目录下，作用是停止 kube-apiserver 服务

mv /etc/kubernetes/manifests/kube-apiserver.yaml .

  • 检查 kube-apiserver 服务已停止

kubectl get pod -n kube-system | grep kube-apiserver
Unable to connect to the server: EOF

  • 所有 Etcd 机器上，停止 Etcd 运行，此步操作不会影响现有的 Pod，只是不能新建、删除 Pod

systemctl stop etcd

  • 查看 Etcd 服务是否已停止

docker ps -a | grep etcd
18dfbbfb8317   kubesphere/etcd:v3.3.12            "/usr/local/bin/etcd"    15 hours ago   Exited (0) 45 seconds ago             etcd3

  • 移除所有 Etcd 存储目录下数据，不同环境下，存储目录可能不一样，可以通过 systemctl status etcd 查看 Etcd 配置参数

mv /var/lib/etcd /var/lib/etcd.bak

  • 将 node1 机器上的快照 snapshot.db 分别拷贝到另外两台 Etcd 机器上

scp snapshot.db 192.168.0.26:/root


scp snapshot.db 192.168.0.28:/root

恢复备份

不同环境下，目录可能不一样，可以通过 systemctl status etcd 查看 Etcd 配置参数。特别需要注意 name、initial-cluster、initial-cluster-token、initial-advertise-peer-urls 和 data-dir 参数的值。

  • 在第一台 Etcd 节点上，注意需要 ETCDCTL_API=3、name 值、IP 值、snapshot.db 文件目录和 data-dir 目录。

export ETCDCTL_API=3
一条指令，可以直接在终端上修改里面参数
etcdctl snapshot restore snapshot.db --name etcd1 --initial-cluster "etcd1=https://192.168.0.25:2380,etcd2=https://192.168.0.26:2380,etcd3=https://192.168.0.28:2380" --initial-cluster-token k8s_etcd --initial-advertise-peer-urls https://192.168.0.25:2380 --data-dir=/var/lib/etcd
和上面指令一样作用，把长的指令以换行形式展现
etcdctl snapshot restore snapshot.db --name etcd1 \
--initial-cluster "etcd1=https://192.168.0.25:2380,etcd2=https://192.168.0.26:2380,etcd3=https://192.168.0.28:2380" \
--initial-cluster-token k8s_etcd \
--initial-advertise-peer-urls https://192.168.0.25:2380 \
--data-dir=/var/lib/etcd

2021-01-19 11:17:06.773113 I | mvcc: restore compact to 96139
2021-01-19 11:17:06.800086 I | etcdserver/membership: added member 7370b1d3dc967c [https://192.168.0.25:2380] to cluster e4d7f96e88cc9d71
2021-01-19 11:17:06.800159 I | etcdserver/membership: added member 2ef3cfc4ca48ad38 [https://192.168.0.26:2380] to cluster e4d7f96e88cc9d71
2021-01-19 11:17:06.800190 I | etcdserver/membership: added member 3a0c86c4c744477c [https://192.168.0.28:2380] to cluster e4d7f96e88cc9d71

  • 第二台和第三台 Etcd 恢复数据，同样需要改变 ETCDCTL_API=3、name 值、IP 值、snapshot.db 文件目录和 data-dir 目录。

export ETCDCTL_API=3
一条指令，可以直接在终端上修改里面参数
etcdctl snapshot restore snapshot.db --name etcd2 --initial-cluster "etcd1=https://192.168.0.25:2380,etcd2=https://192.168.0.26:2380,etcd3=https://192.168.0.28:2380" --initial-cluster-token k8s_etcd --initial-advertise-peer-urls https://192.168.0.26:2380 --data-dir=/var/lib/etcd
和上面指令一样作用，把长的指令以换行形式展现
etcdctl snapshot restore snapshot.db --name etcd2 \
--initial-cluster "etcd1=https://192.168.0.25:2380,etcd2=https://192.168.0.26:2380,etcd3=https://192.168.0.28:2380" \
--initial-cluster-token k8s_etcd \
--initial-advertise-peer-urls https://192.168.0.26:2380 \
--data-dir=/var/lib/etcd

2021-01-19 11:19:59.857363 I | mvcc: restore compact to 96139
2021-01-19 11:19:59.873793 I | etcdserver/membership: added member 7370b1d3dc967c [https://192.168.0.25:2380] to cluster e4d7f96e88cc9d71
2021-01-19 11:19:59.873837 I | etcdserver/membership: added member 2ef3cfc4ca48ad38 [https://192.168.0.26:2380] to cluster e4d7f96e88cc9d71
2021-01-19 11:19:59.873852 I | etcdserver/membership: added member 3a0c86c4c744477c [https://192.168.0.28:2380] to cluster e4d7f96e88cc9d71

export ETCDCTL_API=3
一条指令，可以直接在终端上修改里面参数
etcdctl snapshot restore snapshot.db --name etcd3 --initial-cluster "etcd1=https://192.168.0.25:2380,etcd2=https://192.168.0.26:2380,etcd3=https://192.168.0.28:2380" --initial-cluster-token k8s_etcd --initial-advertise-peer-urls https://192.168.0.28:2380 --data-dir=/var/lib/etcd
和上面指令一样作用，把长的指令以换行形式展现
etcdctl snapshot restore snapshot.db --name etcd3 \
--initial-cluster "etcd1=https://192.168.0.25:2380,etcd2=https://192.168.0.26:2380,etcd3=https://192.168.0.28:2380" \
--initial-cluster-token k8s_etcd \
--initial-advertise-peer-urls https://192.168.0.28:2380 \
--data-dir=/var/lib/etcd

2021-01-19 11:22:21.423215 I | mvcc: restore compact to 96139
2021-01-19 11:22:21.438319 I | etcdserver/membership: added member 7370b1d3dc967c [https://192.168.0.25:2380] to cluster e4d7f96e88cc9d71
2021-01-19 11:22:21.438357 I | etcdserver/membership: added member 2ef3cfc4ca48ad38 [https://192.168.0.26:2380] to cluster e4d7f96e88cc9d71
2021-01-19 11:22:21.438371 I | etcdserver/membership: added member 3a0c86c4c744477c [https://192.168.0.28:2380] to cluster e4d7f96e88cc9d71

  • 上面三台 Etcd 启动

systemctl start etcd

  • 检查 Etcd 集群状态，注意：如果有证书，需要加上证书；在哪台 Etcd 机器执行，注意找到对应的证书文件及最后面加 endpoint health 字样。

一条指令，可以直接在终端上修改里面参数
etcdctl --cacert=/etc/ssl/etcd/ssl/ca.pem --cert=/etc/ssl/etcd/ssl/node-node3.pem --key=/etc/ssl/etcd/ssl/node-node3-key.pem --endpoints=https://192.168.0.25:2379,https://192.168.0.26:2379,https://192.168.0.28:2379 endpoint health
和上面指令一样作用，把长的指令以换行形式展现
etcdctl --cacert=/etc/ssl/etcd/ssl/ca.pem \
--cert=/etc/ssl/etcd/ssl/node-node3.pem \
--key=/etc/ssl/etcd/ssl/node-node3-key.pem \
--endpoints=https://192.168.0.25:2379,https://192.168.0.26:2379,https://192.168.0.28:2379 \
endpoint health

https://192.168.0.28:2379 is healthy: successfully committed proposal: took = 11.664519ms
https://192.168.0.26:2379 is healthy: successfully committed proposal: took = 5.04665ms
https://192.168.0.25:2379 is healthy: successfully committed proposal: took = 1.837265ms

  • 三台 Etcd 全部正常，分别到每台 master 启动 kube-apiserver

mv /root/kube-apiserver.yaml /etc/kubernetes/manifests/

  • 检查 Kubernetes 集群和创建的 Pod 是否恢复正常，包括 Etcd 服务、kube-apiserver 服务及对应 ns 下删除的 Pod。

kubectl get pod -n kube-system | grep kube-apiserver
kube-apiserver-node1                           1/1     Running   0          16h
kube-apiserver-node2                           1/1     Running   0          16h
kube-apiserver-node3                           1/1     Running   0          16h
[root@node1 ssl]# docker ps -a | grep etcd
156b19a72bf0   kubesphere/etcd:v3.3.12      "/usr/local/bin/etcd"    15 minutes ago   Up 15 minutes                           etcd1


kubectl get pod
NAME                      READY   STATUS              RESTARTS   AGE
nginx-6db489d4b7-jdfkw    1/1     Running             0          13h
nginx1-675bf6c9f-jndrx    1/1     Running             0          13h
nginx2-6dfc958b55-vgsc4   1/1     Running             0          13h
nginx3-8f65b44f9-2pk4l    1/1     Running             0          13h
nginx4-9bb966479-svhs6    1/1     Running             0          13h
nginx5-7d4d998c6c-7xlp8   0/1     ContainerCreating   0          13h
nginx6-79444687cf-rc8vk   1/1     Running             0          13h
[root@node1 ssl]# kubectl get pod -n test
NAME                              READY   STATUS    RESTARTS   AGE
details-v1-7d78fc5688-ntvtd       1/1     Running   0          13h
productpage-v1-844495cb4b-qn6l9   1/1     Running   0          13h
ratings-v1-55ccf46fb4-pwqw7       1/1     Running   0          13h
reviews-v1-68bb7b8c4f-h6vr9       1/1     Running   0          13h

6 总结

Kubernetes 集群备份主要是备份 Etcd 集群。而恢复时，主要考虑恢复整个顺序：

停止 Kube-apiserver--> 停止 Etcd--> 恢复数据 --> 启动 Etcd --> 启动 Kube-apiserver

注意：备份 Etcd 集群时，只需要备份一个 Etcd 就行，恢复时，拿同一份备份数据恢复。

王伯爵
关注
专栏目录
Kubernetes Etcd 数据备份与恢复
Vic的博客
11-22 2081
文章目录 一、简介 二、备份 Etcd 数据 三、恢复 ETCD 数据 !版权声明：本博客内容均为原创,每篇博文作为知识积累,写博不易,转载请注明出处。 系统环境： Etcd 版本：3.4.3 Kubernetes 版本：1.17.4 Kubernetes 安装方式：Kubeadm 一、简介 Kubernetes 使用 Etcd 数据库实时存储集群中的数据，可以说 Etcd 是 Kubernetes 的核心组件，犹如人类的大脑。如果 Etcd 数据损坏将导致 Kuberne...
K8S篇之etcd数据备份与恢复
小橙子的笔记屋
11-09 1483
etcd的备份和恢复
K8S etcd备份与恢复(kubesphere搭建的集群)
Joker
06-17 934
etcd备份恢复
不小心删除了docker容器怎么恢复？
josiah_zhao的博客
03-01 1万+
如果不小心执行了docker rm 容器A，通过查找到docker volumes中删除容器的数据，将其挂载到新启动的容器中，即可恢复应用+状态+数据。 背景 docker作为优秀的开源容器引擎，能够像集装箱一样以一种非常标准化、轻量、可移植的方式帮助我们进行开发、交付和运行应用程序。 当镜像运行起来成为容器时会需要相关的存储资源来支撑软件服务的运行，如存储的日志文件，用户传入的数据，伴随运行生成的文件等。 由于docker运行程序实在是太便利了，在有些时候，一些用于调试的docker项目（自研、开源）
【Kubernetes中如何对etcd进行备份和还原】
最新发布
cz88888888666的博客
08-20 783
Kubernetes中对etcd进行备份和还原Kubernetes中对etcd进行备份和还原。
K8S集群误删master节点，master节点恢复完美解决
一个还不成熟、正在努力成长的博客小站。
03-04 1010
在单节点的master节点k8s集群中不小心误删了master节点导致集群不可用。多节点应的恢复方式应该也适用。
内置ETCD集群利用snapshot恢复数据
alanke_ke的博客
12-27 1545
注意：因为我的etcd集群是部署在K8s内部，通过VolumeMounts的形式做持久化存储，所以此时需要.bak的是宿主机上的（即Volume）路径，而不是容器内部的路径。ETCDCTL_API=3 etcdctl snapshot restore --data-dir ETCDCTL_API=3 etcdctl --endpoints=(注意不要写成K8s内部的IP地址）将该目录移除后各API服务和ETCD服务会停止。
Kubernetes生产实践系列之七：通过etcd备份和恢复Kubernetes集群状态
cloudvtech的博客
05-08 1126
一、前言
13、k8s集群中ETCD备份和恢复
贾文超的博客
09-05 3882
etcd备份和恢复
kubedr:一个开源的灾难恢复Kubernetes项目，用于备份和还原etcd集群数据
04-15
Kubernetes集群备份 欢迎来到KubeDR！ 概述 Kubernetes将所有集群数据（例如资源规范）存储在。... 将etcd中的群集数据备份到任何S3兼容存储中。 备份证书 暂停并恢复备份 根据保留设置清除较旧的快
【云原生】Kubernetes中如何对etcd进行备份和还原，确保k8s集群的稳定和健壮
热门推荐
景天科技苑
08-07 3万+
在Kubernetes（K8s）集群中，etcd扮演着关键角色，它作为集群的分布式键值存储，负责存储Kubernetes集群的所有配置信息和状态数据。由于etcd数据的重要性，定期备份etcd数据对于确保Kubernetes集群的安全性和数据恢复能力至关重要。本教程将结合实际案例，详细介绍如何在Kubernetes环境中备份etcd数据。
ETCD备份与恢复
K要努力的博客
10-25 4226
ETCD备份与恢复。
K8s基础12——etcd数据备份与恢复、集群版本升级、网络策略
百慕卿君博客
05-15 3263
1、etcd数据备份与恢复，包括kubeadm方式、二进制方式。 2、集群版本升级及注意事项。 3、网络策略，常用事例。
k8s学习-CKA真题-Etcd数据库备份恢复
关注网络安全、云原生安全
09-24 2909
针对存在的etcd实例https://127.0.0.1:2379，创建一个快照，保存到/srv/data/etcd-snapshot.db。在创建快照的过程中，如果卡住了，就键入ctrl+c终止，然后重试。然后恢复一个已经存在的快照： /var/lib/backup/etcd-snapshot-previous.db。客户端证书：/opt/KUIN00601/etcd-client.crt。客户端密钥：/opt/KUIN00601/etcd-client.key。删除一个pod，方便验证是否还原成功。
etcd备份恢复原理详解及踩坑实录
东东儿的博客
06-23 4275
etcd备份恢复方案及原理介绍
k8s 删除master和etcd节点并重新加入
xgw的专栏
03-22 7564
目前master集群有3个master节点，其中一个要更换。 删除主节点 在master1上执行如下命令 # kubectl drain master2 --delete-local-data --force --ignore-daemonsets node/master2 already cordoned WARNING: ignoring DaemonSet-managed Pods: kube-system/calico-node-xcqp8, kube-system/kube-proxy-spclw
k8s使用笔记-查看/进入pod、查看k8s配置版本、查看ns、强制删除ns/pod
chang_rj的博客
03-12 6108
kubectl get pods # 进入pod kubectl exec -it dns-test sh
k8s的namespace无法被正常回收
weixin_46424009的博客
04-15 390
k8s的namespace无法被正常回收 最近在工作中遇到k8s namespace删不掉，一直 Terminating 状态的解决方法 1.kubectl get namespace -o json > tmp.json 2.vim tmp.json 删除finalizers 中的参数 { “apiVersion”: “v1”, “kind”: “Namespace”, “metadata”: { … }, “spec”: { “finalizers”: [ “kubernetes”
k8s实践11:etcd集群数据备份恢复
weixin_34082789的博客
04-18 2620
1.etcd的api版本说明 flannel操作etcd使用的是v2的API,而kubernetes操作etcd使用的v3的API,所以在下面我们执行etcdctl的时候需要设置ETCDCTL_API环境变量,该变量默认值为2. Etcd V2和V3之间的数据结构完全不同,互不兼容,也就是说使用V2版本的API创建的数据只能使用V2的API访问,V3的版本的API创建的数据只能使用V3的API访问...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值