etcd的备份和恢复--基于快照

已于 2023-02-09 16:32:23 修改
阅读量2.3k 收藏 3
点赞数 1
文章标签： etcd 数据库
于 2023-01-04 11:23:40 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_46476452/article/details/127861541
版权

目录

简介：

etcd备份与恢复

1、修改etcd.service配置集群

 2、重启K8S集群所有etcd节点

 3、验证

            4、通过etcd数据恢复

        4.1、删除pod资源

                   4.2、数据备份

        4.3、数据恢复

简介：

etcd是coreOS团队发起的开源项目，是一个高可用的分布式键值（key-value）数据库，是go语言编写的，再K8S集群中是重要组件，用于存储K8S集群数据

官网 https://etcd.io/
硬件推荐 https://etcd.io/docs/v3.5/op-guide/hardware/

etcd备份与恢复

1、修改etcd.service配置集群

root@etcd1:~# cat /etc/systemd/system/etcd.service
[Unit]
Description=Etcd Server
After=network.target
After=network-online.target
Wants=network-online.target
Documentation=https://github.com/coreos

[Service]
Type=notify
WorkingDirectory=/var/lib/etcd
ExecStart=/usr/local/bin/etcd \
  --name=etcd-172.31.7.106 \    #当前节点名称
  --cert-file=/etc/kubernetes/ssl/etcd.pem \
  --key-file=/etc/kubernetes/ssl/etcd-key.pem \
  --peer-cert-file=/etc/kubernetes/ssl/etcd.pem \
  --peer-key-file=/etc/kubernetes/ssl/etcd-key.pem \
  --trusted-ca-file=/etc/kubernetes/ssl/ca.pem \
  --peer-trusted-ca-file=/etc/kubernetes/ssl/ca.pem \
  --initial-advertise-peer-urls=https://172.31.7.106:2380 \  #通告自己的集群端口
  --listen-peer-urls=https://172.31.7.106:2380 \        #集群之间通信端口
  --listen-client-urls=https://172.31.7.106:2379,http://127.0.0.1:2379 \   #客户端访问地址
  --advertise-client-urls=https://172.31.7.106:2379 \     #通告自己的客户端端口
  --initial-cluster-token=etcd-cluster-0 \    #创建集群使用token,一个集群内的节点保持一致
  --initial-cluster=etcd-172.31.7.106=https://172.31.7.106:2380,etcd-172.31.7.107=https://172.31.7.107:2380,etcd-172.31.7.108=https://172.31.7.108:2380 \
    #上面配置是集群内所有节点信息
  --initial-cluster-state=new \   #新建集群的时候的值为new，如果是已经存在的集群为existing
  --data-dir=/var/lib/etcd \       #数据目录路径
  --wal-dir= \
  --snapshot-count=50000 \        #快照数量，可以做50000个快照
  --auto-compaction-retention=1 \   #第一次压缩等待1h，以后压缩间隔时间是1h的10%，也就是6min
  --auto-compaction-mode=periodic \  #指定周期性压缩，对etcd中的数据压缩，节省磁盘空间
  --max-request-bytes=10485760 \   #最大请求字节数，客户端在请求etcd时数据量大小不能超过该值（官方默认值是不能超过10M，=10485760字节）
  --quota-backend-bytes=8589934592    #在etcd中能存储数据的总量，磁盘存储空间大小限制，默认2G，存储超过8G启动会有告警信息
Restart=always
RestartSec=15
LimitNOFILE=65536
OOMScoreAdjust=-999

[Install]
WantedBy=multi-user.target

 2、重启K8S集群所有etcd节点

集群中每个etcd节点都按照要求修改配置文件后重启

3、验证

root@etcd1:~# /usr/local/bin/etcdctl defrag --cluster --endpoints=https://172.31.7.106:2379 --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/kubernetes/ssl/etcd.pem --key=/etc/kubernetes/ssl/etcd-key.pem

Finished defragmenting etcd member[https://172.31.7.107:2379]
Finished defragmenting etcd member[https://172.31.7.108:2379]
Finished defragmenting etcd member[https://172.31.7.106:2379]

 各节点认证

  显示集群成员信息

#/usr/local/bin/etcdctl --write-out=table member list --endpoints=https://172.31.7.106:2379 --cacert=/etc/kubernetes/ssl/ca.pem --cert=/etc/kubernetes/ssl/etcd.pem --key=/etc/kubernetes/ssl/etcd-key.pem

etcd常用命令

4、通过etcd数据恢复

4.1、删除pod资源

演示通过etcd直接删除pod，现在有三个myapp pod,可以直接从etcd层面删除pod

查看
root@etcd1:~# etcdctl get / --keys-only --prefix | grep myserver-myapp
删除
root@etcd1:~# etcdctl del /registry/pods/myserver/myserver-myapp-0
1

 put写入数据，get查看数据，del删除数据

etcd v3 API版本数据备份与恢复

预写日志 

 4.2、数据备份

数据备份到/tmp/test.db
root@etcd1:~# etcdctl snapshot save /tmp/test.db

后面可以使用test.db文件来恢复数据
root@etcd1:~# ll /tmp/test.db
-rw------- 1 root root 22159392 Nov 15 17:49 /tmp/test.db

etcd集群三个服务器，只需要备份一份，可以给三个服务器恢复

4.3、数据恢复

把快照文件/tmp/test.db恢复到/opt/etcd2目录中
root@etcd1:~# etcdctl snapshot restore /tmp/test.db --data-dir="/opt/etcd2"

以项目为背景做备份与恢复

root@k8s-deploy:/etc/kubeasz# ./ezctl --help
backup      <cluster>            to backup the cluster state (etcd snapshot)
备份集群状态，本质就是给etcd做快照实现

1、查看下backup任务内容
root@k8s-deploy:/etc/kubeasz# vim playbooks/94.backup.yml



2、创建3个pod
root@k8s-deploy:/etc/kubeasz# kubectl run net-test1 --image=centos:7.9.2009 sleep 10000000 -n myserver
root@k8s-deploy:/etc/kubeasz# kubectl run net-test2 --image=centos:7.9.2009 sleep 10000000 -n myserver
root@k8s-deploy:/etc/kubeasz# kubectl run net-test3 --image=centos:7.9.2009 sleep 10000000 -n myserver


3、可以看见有这3个pod了
root@k8s-deploy:/etc/kubeasz# kubectl get pod -A | grep test
myserver               net-test1                                   1/1     Running   0                2m42s
myserver               net-test2                                   1/1     Running   0                2m27s
myserver               net-test3                                   1/1     Running   0                5s


4、下面开始备份
root@k8s-deploy:/etc/kubeasz# ./ezctl backup k8s-cluster1
PLAY RECAP ********************************************************************************************************************************
localhost                  : ok=10   changed=6    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0

 备份完后的文件在/etc/kubeasz/clusters/k8s-cluster1/backup/11月十五号的，并且会强制拷贝至snapshot.db，因为默认恢复是通过snapshot.db文件进行恢复的，因此想要恢复到哪个版本就需要把那个版本的文件手动拷贝到snapshot.db文件中

下面删除一个pod,只剩下两个test pod了

root@k8s-deploy:/etc/kubeasz# kubectl delete pod net-test3 -n myserver

基于刚刚删除之后再进行一次备份

root@k8s-deploy:/etc/kubeasz# ./ezctl backup k8s-cluster1
PLAY RECAP *************************************************************************************************************************
localhost                  : ok=10   changed=6    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0

 新备份的db文件同时也会拷贝到snapshot.db

 现在使用上面备份的文件,这个文件备份的是有三个test pod的，下面就将它还原

可以看下恢复任务的文件
root@k8s-deploy:/etc/kubeasz# vim roles/cluster-restore/tasks/main.yml

root@k8s-deploy:/etc/kubeasz# cd clusters/k8s-cluster1/backup/
root@k8s-deploy:/etc/kubeasz/clusters/k8s-cluster1/backup# ll
total 73756
drwxr-xr-x 2 root root     4096 Nov 15 20:55 ./
drwxr-xr-x 5 root root     4096 Nov 15 14:44 ../
-rw------- 1 root root  4509728 Sep  9 20:43 snapshot_202209092043.db
-rw------- 1 root root  4509728 Sep  9 21:10 snapshot_202209092110.db
-rw------- 1 root root 22159392 Nov 15 18:11 snapshot_202211151811.db
-rw------- 1 root root 22159392 Nov 15 20:55 snapshot_202211152055.db
-rw------- 1 root root 22159392 Nov 15 20:55 snapshot.db
把备份了三个test pod是文件拷贝至snapshot.db
root@k8s-deploy:/etc/kubeasz/clusters/k8s-cluster1/backup# cp snapshot_202211151811.db  snapshot.db

此时test的pod还是两个
root@k8s-deploy:/etc/kubeasz# kubectl get pod -A | grep test
myserver               net-test1                                   1/1     Running   0               3h52m
myserver               net-test2                                   1/1     Running   0               3h52m

进行恢复
root@k8s-deploy:/etc/kubeasz# ./ezctl restore k8s-cluster1
PLAY RECAP *************************************************************************************************************************
172.31.7.101               : ok=5    changed=4    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
172.31.7.102               : ok=5    changed=4    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
172.31.7.103               : ok=5    changed=4    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
172.31.7.106               : ok=10   changed=8    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
172.31.7.107               : ok=10   changed=8    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
172.31.7.108               : ok=10   changed=8    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
172.31.7.111               : ok=3    changed=2    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
172.31.7.112               : ok=3    changed=2    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0
172.31.7.113               : ok=3    changed=2    unreachable=0    failed=0    skipped=0    rescued=0    ignored=0

经过刚刚的数据恢复，再来看下pod情况 

同理可以用删除后的备份文件再恢复到删除后的状态

大洋百度
关注
  • 1
    点赞
  • 踩
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
etcd-load:etcd转储和恢复工具
07-08
等负载 用于从 etcd 转储和恢复数据的简单工具。 安装使用： npm install -g etcd-load Usage: etcd-load dump [--key-filter=<regex>] [--etcd=<url>] [<file>] etcd-load restore [--key-filter=<regex>] [--etcd=<url>] [--drop-ttls] <file> Options: -h --help Show this screen. -v --version Show version. --etcd=<url> The etcd server to connect to [default: http://localhost:4001]. --key-filter=<re
ETCD备份与恢复
K要努力的博客
10-25 2665
ETCD备份与恢复。
Etcd备份及恢复
m0_37817456的博客
08-17 1523
-initial-cluster \ #集群中所有实例通讯地址。--initial-cluster-token etcd-cluster \ #集群名字，不要与已有集群冲突。--initial-advertise-peer-urls \ #当前实例进群通讯地址。2、备份完成后会在当前目录生成备份文件。4、启动恢复后的集群。
etcd备份与恢复
weixin_33701617的博客
05-21 389
目录 备份 恢复 备份 通常而言，etcd都是集群部署，其实并不需要额外备份，但实在是架不住猪队友误操作。 写一个简单的etcd备份脚本如下： #!/bin/bash set -e exec >> /var/log/backup_etcd.log Date=`date +%Y-%m-%...
etcd 简单使用备份与恢复
python基础
12-22 1055
cka etcd简单使用
etcd-cloud-operator：在云提供商上部署和管理生产级的etcd集群：故障恢复，灾难恢复，备份和调整大小
01-29
由一名前CoreOS工程师维护，并从为设计的的启发下，etcd-cloud-operator在云提供商上自动引导，监视，快照和恢复etcd集群。 用于代替etcd二进制文件并以最少的配置使用，操作员根据从云提供程序收集的数据和etcd...
基于快照模式单节点elasticsearch数据自动化备份恢复工具
11-28
原文链接：...2、一键恢复指定日期全索引，类似于Mysql全库恢复模式。3、一键备份单索引，类似于Mysql分库备份模式。4、一键恢复指定日期单索引，类似于Mysql分库恢复模式。5、保留7天内备份文件。
cassandra-backup:备份和还原Cassandra快照的工具
04-29
备份和还原Cassandra快照的工具 备份：java -jar cassandra-backup-jar-with-dependencies.jar备份/ opt / cassandra /数据方案/tmp/backup.tar 还原：java -jar cassandra-backup-jar-with-dependencies.jar还原/ ...
注册表快照对比-RegistryChangesView-1.30-x64
最新发布
05-04
注册表快照对比-RegistryChangesView_1.30_x64
etcd-manager
05-04
etcd-manager领导者除了在集群修改操作之前自动触发备份外，还定期将etcd快照备份到备份存储中。 通常不支持的集群更改可以通过etcd备份和还原安全地完成。 备份存储的格式在是计划中性的。 代码概述 etcd
ETCD 常用操作，及数据备份和恢复
zyw_0813的博客
02-07 3133
ETCD 常用操作，及数据备份和恢复。
K8s集群的Etcd数据库的备份与还原
lihongbao80的专栏
08-25 2138
etcd备份还原
ETCD3.5快照恢复pods
weixin_42562106的博客
03-20 507
-首先需要一个etcd服务 工具下载不再介绍了 创建 ca 证书 tee ca-config.json<<-'EOF' { "signing": { "default": { "expiry": "876000h" }, "profiles": { "server": { "expiry": "876000h", "usages
etcd常用命令与备份恢复-Day03
qq_42515722的博客
05-30 1121
etcd启动基本就是靠传参的方式。
etcd 备份与恢复
u010533742的博客
05-12 178
etcd备份脚本 #!/bin/bash # ETCDCTL_PATH='/opt/kube/bin/etcdctl' BACKUP_DIR='/etcd_backup' DATE=`date +%Y%m%d-%H%M%S` [ ! -d $BACKUP_DIR ] && mkdir -p $BACKUP_DIR export ETCDCTL_API=3;$ETCDCTL_PATH snapshot save $BACKUP_DIR/snapshot-$DATE\.db #只留10份 .
etcd备份恢复原理详解及踩坑实录
东东儿的博客
06-23 3741
etcd备份恢复方案及原理介绍
k8s-kubernetes--etcd的备份和恢复
Gong_yz的博客
03-20 1298
Etcd被形容为Kubernetes集群的大脑，是 Kubernetes的关键组件，因为它存储了集群的整个状态：其配置，规格以及运行中的工作负载的状态。 在Kubernetes世界中，etcd用作服务发现的后端，并存储集群的状态及其配置。 Etcd被部署为一个集群，几个节点的通信由Raft算法处理。
ETCD的备份以及数据恢复
weixin_43784341的博客
06-30 401
发现很多pod的状态为evicted。 eviction，即驱赶的意思，意思是当节点出现异常时，kubernetes将有相应的机制驱赶该节点上的Pod。 多见于资源不足时导致的驱赶。 排查资源和异常原因，防止新的驱赶产生。 使用如下命令删除旧驱赶的遗留 kubectl get pods -n kube-public | grep Evicted | awk '{print $1}' | xargs kubectl delete pod -n kube-public 或者 cat /data/alarm/d
etcd 部署、备份与恢复
weixin_30745553的博客
09-03 263
### etcd 部署 wget https://github.com/etcd-io/etcd/releases/download/v3.3.13/etcd-v3.3.13-linux-amd64.tar.gztar -zxvf etcd-v3.3.13-linux-amd64.tar.gzcd etcd-v3.3.13-linux-amd64目录下有两个可执行文件etcd 和 ...
解释代码 etcdctl --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt --key=/etc/kubernetes/pki/etcd/healthcheck-client.key snapshot save /root/etcd.db
07-17
这段代码是使用etcdctl命令行工具来进行操作的示例。具体命令为`etcdctl snapshot save`，它用于将etcd数据库的快照保存到指定的文件。 在该命令中，有几个参数用于进行认证和授权： - `--cacert=/etc/kubernetes/pki/etcd/ca.crt`：指定etcd集群的CA证书文件路径，用于验证服务器的身份。 - `--cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt`：指定用于客户端身份验证的证书文件路径。 - `--key=/etc/kubernetes/pki/etcd/healthcheck-client.key`：指定用于客户端身份验证的私钥文件路径。 最后，`snapshot save`命令的最后一个参数`/root/etcd.db`表示要保存快照的文件路径。 综合起来，这段代码的作用是使用etcdctl工具在指定路径下保存etcd数据库的快照文件。这样可以备份etcd数据，用于恢复或迁移etcd集群。 需要注意的是，这段代码是一个命令行示例，如果想要在Python中执行etcd相关操作，可以使用etcd的Python客户端库进行操作。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值