etcd灾难恢复_K8S-v1.25.2_containerd容器运行时

最新推荐文章于 2024-05-30 16:54:17 发布
最新推荐文章于 2024-05-30 16:54:17 发布
阅读量354 收藏
点赞数
文章标签： kubernetes etcd 容器
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/Magic_Music/article/details/128304262
版权

etcd灾难恢复

环境说明：

组件版本
kubeletv1.25.2
kubectlv1.25.2
kubeadmv1.25.2
containerd1.6.12
etcd3.5.5-0

节点信息：

root@k8s-worker-2:/etc/kubernetes# kubectl get node -o wide
NAME           STATUS   ROLES           AGE   VERSION   INTERNAL-IP     EXTERNAL-IP   OS-IMAGE             KERNEL-VERSION       CONTAINER-RUNTIME
k8s-worker-2   Ready    control-plane   22h   v1.25.2   100.86.40.215   <none>        Ubuntu 18.04.6 LTS   4.15.0-175-generic   containerd://1.6.12
 ​

1、创建一个deployment资源

 root@k8s-worker-2:~# kubectl create deployment nginx --image=nginx --replicas=3
 deployment.apps/nginx created

2、创建etcd快照

 root@k8s-worker-2:/etc/kubernetes# kubectl exec -it -n kube-system etcd-k8s-worker-2 -- etcdctl --endpoints 100.86.40.215:2379 --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key --cacert=/etc/kubernetes/pki/etcd/ca.crt  snapshot save /etc/kubernetes/pki/etcd/etcd-snapshot-2022-12-13.db
 {"level":"info","ts":"2022-12-13T08:19:08.196Z","caller":"snapshot/v3_snapshot.go:65","msg":"created temporary db file","path":"/etc/kubernetes/pki/etcd/etcd-snapshot-2022-12-13.db.part"}
 {"level":"info","ts":"2022-12-13T08:19:08.209Z","logger":"client","caller":"v3/maintenance.go:211","msg":"opened snapshot stream; downloading"}
 {"level":"info","ts":"2022-12-13T08:19:08.210Z","caller":"snapshot/v3_snapshot.go:73","msg":"fetching snapshot","endpoint":"100.86.40.215:2379"}
 {"level":"info","ts":"2022-12-13T08:19:08.645Z","logger":"client","caller":"v3/maintenance.go:219","msg":"completed snapshot read; closing"}
 {"level":"info","ts":"2022-12-13T08:19:08.882Z","caller":"snapshot/v3_snapshot.go:88","msg":"fetched snapshot","endpoint":"100.86.40.215:2379","size":"3.1 MB","took":"now"}
 {"level":"info","ts":"2022-12-13T08:19:08.883Z","caller":"snapshot/v3_snapshot.go:97","msg":"saved","path":"/etc/kubernetes/pki/etcd/etcd-snapshot-2022-12-13.db"}
 Snapshot saved at /etc/kubernetes/pki/etcd/etcd-snapshot-2022-12-13.db

3、查看快照信息

 root@k8s-worker-2:/etc/kubernetes# kubectl exec -it -n kube-system etcd-k8s-worker-2 -- etcdctl --endpoints 100.86.40.215:2379 --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key --cacert=/etc/kubernetes/pki/etcd/ca.crt --write-out=table snapshot status /etc/kubernetes/pki/etcd/etcd-snapshot-2022-12-13.db
 Deprecated: Use `etcdutl snapshot status` instead.
 ​
 +----------+----------+------------+------------+
 |   HASH   | REVISION | TOTAL KEYS | TOTAL SIZE |
 +----------+----------+------------+------------+
 | 2d9223fc |    96937 |        865 |     3.1 MB |
 +----------+----------+------------+------------+

4、删除deployment资源，模拟故障

 root@k8s-worker-2:~# kubectl delete deployment nginx
 deployment.apps "nginx" deleted

5、将etcdctl 命令cp到本地

  • kubectl命令无法将etcdctl命令直接cp到本地

  • crictl没有cp命令

  • 所以我们采用将etcdctl复制到容器和本机映射的持久目录下

 root@k8s-worker-2:/etc/kubernetes# kubectl exec -it -n kube-system etcd-k8s-worker-2 -- cp /usr/local/bin/etcdctl /etc/kubernetes/pki/etcd/etcdctl

6、备份 /var/lib/etcd 目录

 root@k8s-worker-2:/etc/kubernetes# cp -r /var/lib/etcd{,-bak}

7、进行etcd恢复

7.1、停止etcd容器

  • 只需要将/etc/kubernetes/manifests/etcd.yaml文件挪到其他目录即可

 root@k8s-worker-2:/etc/kubernetes# mv /etc/kubernetes/manifests/etcd.yaml /etc/kubernetes/

7.2、查看当前运行的容器

  • 可以看到etcd容器已经不存在了

 root@k8s-worker-2:/etc/kubernetes# crictl ps -a
 CONTAINER           IMAGE               CREATED             STATE               NAME                      ATTEMPT             POD ID              POD
 ca08d1e0ad430       dbfceb93c69b6       4 minutes ago       Exited              kube-controller-manager   6                   7cf5296b00224       kube-controller-manager-k8s-worker-2
 ead3815c53774       ca0ea1ee3cfd3       4 minutes ago       Exited              kube-scheduler            6                   729cade34ff32       kube-scheduler-k8s-worker-2
 23d89007b20d7       97801f8394908       5 minutes ago       Running             kube-apiserver            3                   029e8c27b42a6       kube-apiserver-k8s-worker-2
 f127263ddcd4b       97801f8394908       15 minutes ago      Exited              kube-apiserver            2                   029e8c27b42a6       kube-apiserver-k8s-worker-2
 b7d2a00d9af95       a4ca41631cc7a       21 hours ago        Running             coredns                   0                   ea982d524385b       coredns-57977755fc-klbhm
 d2f7468f46360       a4ca41631cc7a       21 hours ago        Running             coredns                   0                   d6d1afbe109f5       coredns-57977755fc-c4w9h
 215f24dd4054b       1c7d8c51823b5       21 hours ago        Running             kube-proxy                0                   390a643fed7c0       kube-proxy-fc8dx
 bc90141515308       b5c6c9203f83e       22 hours ago        Running             kube-flannel              0                   666ea113a9d54       kube-flannel-ds-9lzvv
 950b59a74b1b8       b5c6c9203f83e       22 hours ago        Exited              install-cni               0                   666ea113a9d54       kube-flannel-ds-9lzvv
 9c31b2bcc182c       fcecffc7ad4af       22 hours ago        Exited              install-cni-plugin        0                   666ea113a9d54       kube-flannel-ds-9lzvv
 ​

7.3、删除/var/lib/etcd 目录

 root@k8s-worker-2:/etc/kubernetes# rm -rf /var/lib/etcd

7.4、恢复快照

  • 参数都可以在 /etc/kubernetes/manifests/etcd.yaml 中找到当前环境的信息。

 root@k8s-worker-2:/etc/kubernetes# /etc/kubernetes/pki/etcd/etcdctl --endpoints 100.86.40.215:2379 --cert=/etc/kubernetes/pki/etcd/server.crt --key=/etc/kubernetes/pki/etcd/server.key --cacert=/etc/kubernetes/pki/etcd/ca.crt  snapshot restore /etc/kubernetes/pki/etcd/etcd-snapshot-2022-12-13.db --name=k8s-worker-2 --initial-cluster=k8s-worker-2=https://100.86.40.215:2380 --initial-advertise-peer-urls=https://100.86.40.215:2380 --data-dir=/var/lib/etcd
 Deprecated: Use `etcdutl snapshot restore` instead.
 ​
 2022-12-13T15:43:18+08:00       info    snapshot/v3_snapshot.go:248     restoring snapshot      {"path": "/etc/kubernetes/pki/etcd/etcd-snapshot-2022-12-13.db", "wal-dir": "/var/lib/etcd/member/wal", "data-dir": "/var/lib/etcd", "snap-dir": "/var/lib/etcd/member/snap", "stack": "go.etcd.io/etcd/etcdutl/v3/snapshot.(*v3Manager).Restore\n\t/tmp/etcd-release-3.5.5/etcd/release/etcd/etcdutl/snapshot/v3_snapshot.go:254\ngo.etcd.io/etcd/etcdutl/v3/etcdutl.SnapshotRestoreCommandFunc\n\t/tmp/etcd-release-3.5.5/etcd/release/etcd/etcdutl/etcdutl/snapshot_command.go:147\ngo.etcd.io/etcd/etcdctl/v3/ctlv3/command.snapshotRestoreCommandFunc\n\t/tmp/etcd-release-3.5.5/etcd/release/etcd/etcdctl/ctlv3/command/snapshot_command.go:129\ngithub.com/spf13/cobra.(*Command).execute\n\t/usr/local/google/home/siarkowicz/.gvm/pkgsets/go1.16.15/global/pkg/mod/github.com/spf13/cobra@v1.1.3/command.go:856\ngithub.com/spf13/cobra.(*Command).ExecuteC\n\t/usr/local/google/home/siarkowicz/.gvm/pkgsets/go1.16.15/global/pkg/mod/github.com/spf13/cobra@v1.1.3/command.go:960\ngithub.com/spf13/cobra.(*Command).Execute\n\t/usr/local/google/home/siarkowicz/.gvm/pkgsets/go1.16.15/global/pkg/mod/github.com/spf13/cobra@v1.1.3/command.go:897\ngo.etcd.io/etcd/etcdctl/v3/ctlv3.Start\n\t/tmp/etcd-release-3.5.5/etcd/release/etcd/etcdctl/ctlv3/ctl.go:107\ngo.etcd.io/etcd/etcdctl/v3/ctlv3.MustStart\n\t/tmp/etcd-release-3.5.5/etcd/release/etcd/etcdctl/ctlv3/ctl.go:111\nmain.main\n\t/tmp/etcd-release-3.5.5/etcd/release/etcd/etcdctl/main.go:59\nruntime.main\n\t/usr/local/google/home/siarkowicz/.gvm/gos/go1.16.15/src/runtime/proc.go:225"}
 2022-12-13T15:43:18+08:00       info    membership/store.go:141 Trimming membership information from the backend...
 2022-12-13T15:43:18+08:00       info    membership/cluster.go:421       added member    {"cluster-id": "c74a0c530bf911ab", "local-member-id": "0", "added-peer-id": "a62f41442cd82a29", "added-peer-peer-urls": ["https://100.86.40.215:2380"]}
 2022-12-13T15:43:18+08:00       info    snapshot/v3_snapshot.go:269     restored snapshot       {"path": "/etc/kubernetes/pki/etcd/etcd-snapshot-2022-12-13.db", "wal-dir": "/var/lib/etcd/member/wal", "data-dir": "/var/lib/etcd", "snap-dir": "/var/lib/etcd/member/snap"}

7.5、查看集群恢复状态

  • 稍等片刻后，发现之前删除的deplayment已经恢复正常

 root@k8s-worker-2:/etc/kubernetes# kubectl get pods -A
 NAMESPACE      NAME                                   READY   STATUS    RESTARTS        AGE
 default        nginx-8bb445cbd-6k4dl                  1/1     Running   0               41m
 default        nginx-8bb445cbd-nzrgx                  1/1     Running   0               41m
 default        nginx-8bb445cbd-vskcl                  1/1     Running   0               42m
 kube-flannel   kube-flannel-ds-9lzvv                  1/1     Running   0               22h
 kube-system    coredns-57977755fc-c4w9h               1/1     Running   0               21h
 kube-system    coredns-57977755fc-klbhm               1/1     Running   0               21h
 kube-system    etcd-k8s-worker-2                      1/1     Running   0               21h
 kube-system    kube-apiserver-k8s-worker-2            0/1     Running   4 (15s ago)     21h
 kube-system    kube-controller-manager-k8s-worker-2   1/1     Running   7 (3m59s ago)   21h
 kube-system    kube-proxy-fc8dx                       1/1     Running   0               21h
 kube-system    kube-scheduler-k8s-worker-2            1/1     Running   7 (4m ago)      21h
 ​

Magic_Music
关注
  • 0
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
k8s集群中ETCD备份和恢复
贾文超的博客
09-05 2880
etcd备份和恢复
etcd cluster 备份恢复实践
chenhongloves的博客
09-16 456
数据在手，天下我有。 备份 创建 etcd cluster 不善言语。创建 3 个 member 的 etcd cluster 如下 yaml 文件创建的 etcd 集群 apiVersion: v1 kind: Service metadata: name: etcd-headless labels: component: etcd-headless spec: clusterIP: None ports: - port: 2379 name: cl...
etcd问题发散-灾备恢复
zyxpaomian的博客
03-22 951
相比方法二来说，方法一的步骤比较简单，但实际操作的时候，可能会存在做完快照的同时有用户数据写入的情况，从而再一次导致Revision不一致，此外，之前提到奇数节点一旦发生故障，会将集群变成偶数节点，从而在短期内产生脑裂的风险，所以在发现故障后，要赶快进行修复。算是比较粗暴的修复方法，就是将当前集群的问题member 从集群内剔除，然后删除节点信息，然后将该节点重新加入到集群，依靠etcd 自身的同步机制，将数据同步。方式1的方法需要重新新增节点，如果存在数据量较大，可以采用备份恢复的方式。
根据etcd备份文件，重建etcd，恢复k8s
weixin_42323738的博客
03-15 490
4）为每台机器配置外接etcd的前期配置，安装参考文档：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/setup-ha-etcd-with-kubeadm/5) 由于etcd为外接集群，所以当我们更换集群时，我们的kubadm-config在初始化时添加的etcd集群的配置无法更新，需要我们手动更新，更新的configmaps为kubeadm-config。4）观察所有的pod对于一些失败的pod，删除重建即可。
kubeasz -etcd v3 API版本数据备份与恢复
qq_31055683的博客
08-08 312
etcd备份恢复
Etcd 集群故障恢复详细步骤
CodingDemo
06-28 2061
member信息会持久化到磁盘上，数据丢失的节点必须以新的member身份加入，必须严格按照如下操作： 1. 移除failure节点：使用member remove命令剔除错误节点。保证当前集群的健康状况。 2. 彻底清理数据目录：错误节点必须停止服务，然后删除data dir。保证member信息被清理干净，清空member目录。 3. 集群扩容：使用member add命令添加步骤1的故障节点。 4. 重新启动：步骤1的故障节点进行启动
关于k8s中ETCD集群备份灾难恢复的一些笔记
山河已无恙
03-04 1462
集群电源不稳定，或者节点动不动就 宕机,一定要做好备份，ETCD的快照文件很容易受影响损坏。重置了很多次集群，才认识到备份的重要博文内容涉及etcd 运维基础知识了解静态 Pod 方式 etcd 集群灾备与恢复 Demo定时备份的任务编写二进制 etcd 集群灾备恢复 Demo理解不足小伙伴帮忙指正我所渴求的，無非是將心中脫穎語出的本性付諸生活，為何竟如此艱難呢 ------赫尔曼·黑塞《德米安》etcd是CoreOS团队于2013年6月发起的开源项目，它的目标是构建一个。
k8s-etcd:用于 etcd-on-Kubernetes 的 Docker 容器
07-09
k8s-etcd 在 Ubuntu 14.04 容器中运行etcd ( etcd ) 的 Docker 容器，具有环境中的配置设置。 环境 这些环境变量的名称经过精心选择，以与 Kubernetes（主要是 GKE）为定义的服务提供的内容兼容。 ETCD_SERVER_ID ...
kubeadm1.2x 集成 Containerd 容器运行时
02-03
CRI 是K8S 定义的一套容器运行时接口，基于gRPC通讯，但是docker不是基于CRI的，因此 kubelet 又把docker 封装了一层，搞了一个所谓的shim，也即是dockershim的东 西，dockershim 作为一个实现了CRI 接口的gRPC...
k8s-v1.23.4-arm版本的离线包
06-11
适用于银河麒麟sever-V10操作系统 arm架构 k8s-v1.23.4版本 离线安装 包含k8s依赖项，组件镜像包，k8s-rpm包，yaml文件 安装过程word版
k8s-v1.21.0-x86_64离线安装包.zip
08-19
文件复制到服务器，执行，就可以安装完成 sudo rpm -ivh *.rpm --...执行完成后再执行启动k8s： sudo systemctl daemon-reload sudo systemctl enable kubelet sudo systemctl start kubelet 然后 kubeadm init 初始化
二进制包etcd-v3.4.18-linux-amd64.tar.gz
04-02
etcd二进制包，版本3.4.18，系统架构amd64，适用服务器linux操作系统，docker容器。...此文件主要可以用于在Linux服务器上安装或者使用二进制构建docker容器镜像，部署在k8s集群或者docker-compose集群内。
ETCD单节点故障应急恢复
李姓门徒
04-17 2154
ETCD是常见的K8S分布式数据库。在生产过程中，偶尔会发现etcd节点异常或者集群异常。本文档作为etcd单异常节点的恢复办法
k8s 的etcd备份、CoreDNS和dashboard安装，集群升级，yaml详解
m0_59304292的博客
05-09 1168
欢迎使用Markdown编辑器 你好！ 这是你第一次使用 Markdown编辑器 所展示的欢迎页。如果你想学习如何使用Markdown编辑器, 可以仔细阅读这篇文章，了解一下Markdown的基本语法知识。 新的改变 我们对Markdown编辑器进行了一些功能拓展与语法支持，除了标准的Markdown编辑器功能，我们增加了如下几点新功能，帮助你用它写博客： 全新的界面设计 ，将会带来全新的写作体验； 在创作中心设置你喜爱的代码高亮样式，Markdown 将代码片显示选择的高亮样式 进行展示； 增加了 图.
etcdctl 命令介绍
weixin_30825199的博客
01-05 878
通过不同的设置api 版本环境变量，支持的命令行不同。 Interacting with etcd： https://coreos.com/etcd/docs/latest/dev-guide/interacting_v3.html 1. 未设置ETCDCTL_API 时，支持的命令 　　缺省使用 ETCDCTL_API=2 [root@vStack etcd-v3.0.15...
ETCD数据备份与恢复验证
zhangxiangui40542的专栏
08-17 5420
ETCD数据备份与恢复验证 一、单机 说明：执行etcd备份数据的恢复的机器必须和原先etcd所在机器一致 1、单机备份 etcdctl --endpoints="https://10.25.72.62:2379" \ --cert=/etc/etcd/ssl/etcd.pem \ --key=/etc/etcd/ssl/etcd-key.pem...
Etcd 和 kubernetes master的灾备与恢复
ywq935的博客
01-01 724
Etcd和kubernetes master的灾备与恢复 背景说明 问题：假设某台带有etcd的k8s master节点完全故障，彻底无法恢复 方案：新启动一台主机，配置为故障master主机相同的ip和主机名，并尝试原地恢复，顶替原故障master节点 Etcd恢复 参考官方文档： https://github.com/etcd-io/etcd/blob/master/Documentation...
当etcd被误删后，kubeadm安装的集群快速恢复集群
red_sky_blue的专栏
03-09 4486
etcd被删除后，之前集群的数据如果没有备份，数据将全部丢失，即使集群恢复后，也是一个新的集群。 【现象】： # kubectl get nodes No resources found 【恢复操作】 在master节点上 # kubeadm reset [reset] Reading configuration from the cluster... [reset] FYI: You can look at this config file with 'kubectl -n kube-
【二进制部署k8s-1.29.4】一、安装前软件准备及系统初始化
最新发布
weixin_56364253的博客
05-30 1187
本章节主要讲解在安装部署k8s-1.29.4环境之前的一些软件、环境调优的准备工作，本篇采用k8s二进制安装的方式进行部署，该环境是根据在用的一个30节点左右的k8s集群部署流程进行文章整理。
k8s etcd备份恢复
07-29
回答: 对于k8s etcd备份恢复，可以按照以下步骤进行操作。首先，确保已经有了备份文件。可以使用以下命令检查备份文件是否存在：\[1\] 如果备份文件不存在，则需要重新执行备份命令并输入正确的备份文件时间。接下来...

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值