etcd集群数据定时备份以及恢复

最新推荐文章于 2024-05-23 11:36:22 发布
最新推荐文章于 2024-05-23 11:36:22 发布
阅读量2.2k 收藏 8
点赞数 1
分类专栏： k8s 运维 文章标签： k8s备份 etcd备份恢复 etcd k8s
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_27156945/article/details/103164683
版权
运维 同时被 2 个专栏收录
14 篇文章 1 订阅
订阅专栏
k8s
7 篇文章 0 订阅
订阅专栏

etcd集群数据定时备份以及恢复

1.etcd集群备份

ETCDCTL_API=3 etcdctl \
--endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379" \
--cert=/etc/etcd/ssl/etcd.pem \
--key=/etc/etcd/ssl/etcd-key.pem \
--cacert=/etc/kubernetes/ssl/ca.pem \
snapshot save /data/kubernetes/etcd/datas_bak/mysnapshot.db

在这里插入图片描述

--endpoints 集群所有节点的ip地址:2379，端口不变
/data/k8s/etcd/data_bak/mysnapshot.db为备份的文件路径

注：
我们这里使用的是etcd 3.0的api，故备份的数据也只备份了使用3.0添加的数据，2.0添加的数据是没有做备份的。

2.etcd集群恢复

2.1 数据恢复

需要在每个节点上执行，可以先将备份文件分发到各个节点上面。
恢复数据之前需要先将etcd的旧工作目录清空，例如/data/kubernetes/etcd/datas文件夹跟/data/kubernetes/etcd/wals文件夹，如果不清空这两个文件夹，可能会导致恢复失败。
注意需要修改相关参数（下面的图片中已经用箭头指出来需要更改的地方）

ETCDCTL_API=3 etcdctl \
--name=node01 \
--endpoints="https://192.168.137.231:2379" \
--cert=/etc/etcd/ssl/etcd.pem \
--key=/etc/etcd/ssl/etcd-key.pem \
--cacert=/etc/kubernetes/ssl/ca.pem \
--initial-cluster-token=etcd-cluster-0 \
--initial-advertise-peer-urls=https://192.168.137.231:2380 \
--initial-cluster=node01=https://192.168.137.231:2380,node02=https://192.168.137.232:2380,node03=https://192.168.137.233:2380 \
--data-dir=/data/kubernetes/etcd/datas \
--wal-dir=/data/kubernetes/etcd/wals \
snapshot restore /data/kubernetes/etcd/datas_bak/mysnapshot.db

在这里插入图片描述
--name 该节点的名称
--endpoints 该节点的ip地址:2379，端口不变
--initial-cluster-token 固定的etcd-cluster-0
--initial-advertise-peer-urls 所有集群节点的ip地址:2380,端口固定不变
/data/kubernetes/etcd/datas_bak/mysnapshot.db 备份文件的路径

2.2 重启etcd服务

systemctl start etcd

2.3 查看etcd状态

systemctl status etcd

在这里插入图片描述

2.4 重启flanneld服务

此时如果重启flanneld服务会发现重启失败。错误信息如下：

11月 22 10:01:30 node01 flanneld[2869]: timed out
11月 22 10:01:30 node01 flanneld[2869]: E1122 10:01:30.669515    2869 main.go:382] Couldn't fetch network config: 100: Key not found (/k8s) [7]

在这里插入图片描述

Key not found (/k8s)

这个错误说明此时etcd的数据中没有/k8s这个key，这个key是做什么用的呢。我们回想到之前创建k8s集群时的操作：向 etcd 写入集群 Pod 网段信息
在这里插入图片描述
然后因为flanneld的网段信息是使用etcd2.0的api添加的，我们没做备份，所以要重新添加。

该步骤中${FLANNEL_ETCD_PREFIX}/config的值我们查看配置文件：
在这里插入图片描述
可以知道他的值就是/k8s/network/config，说明flanneld启动时报的错误就是缺少了这个部分。我们现在向etcd集群中重新加入这个数据。

向 etcd 写入集群 Pod 网段信息

source /opt/kubernetes/bin/environment.sh
etcdctl \
  --endpoints=${ETCD_ENDPOINTS} \
  --ca-file=/opt/kubernetes/work/ca.pem \
  --cert-file=/opt/kubernetes/work/flanneld.pem \
  --key-file=/opt/kubernetes/work/flanneld-key.pem \
  mk ${FLANNEL_ETCD_PREFIX}/config '{"Network":"'${CLUSTER_CIDR}'", "SubnetLen": 21, "Backend": {"Type": "vxlan"}}'

在这里插入图片描述

mk命令跟put命令是相似的。他是创建一个新key并写入value
在这里插入图片描述
此时再重启 flanneld 服务就可以成功了。

2.5 重启其他相关服务

systemctl restart kube-proxy kube-apiserver

2.6 查看k8s集群信息

kubectl get node

在这里插入图片描述

3.常用命令

3.1 写入数据

ETCDCTL_API=3 etcdctl \
--endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379" \
--cert=/etc/etcd/ssl/etcd.pem \
--key=/etc/etcd/ssl/etcd-key.pem \
--cacert=/etc/kubernetes/ssl/ca.pem \
put /test/1 1111

在这里插入图片描述

3.2 读取数据

ETCDCTL_API=3 etcdctl \
--endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379" \
--cert=/etc/etcd/ssl/etcd.pem \
--key=/etc/etcd/ssl/etcd-key.pem \
--cacert=/etc/kubernetes/ssl/ca.pem \
get /test/1

在这里插入图片描述

3.3 查看key

ETCDCTL_API=3 etcdctl \
--endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379" \
--cert=/etc/etcd/ssl/etcd.pem \
--key=/etc/etcd/ssl/etcd-key.pem \
--cacert=/etc/kubernetes/ssl/ca.pem \
get /test --prefix --keys-only

在这里插入图片描述
get /为查询所有key
--prefix 指前缀匹配
--keys-only 指仅打印key，不打印value

3.4 删除key

ETCDCTL_API=3 etcdctl \
--endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379" \
--cert=/etc/etcd/ssl/etcd.pem \
--key=/etc/etcd/ssl/etcd-key.pem \
--cacert=/etc/kubernetes/ssl/ca.pem \
del "/test/1" --prefix

在这里插入图片描述
del "" 为删除所有key
--prefix 指开启前缀匹配

3.5 查看集群成员

ETCDCTL_API=3 etcdctl \
--endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379" \
--cert=/etc/etcd/ssl/etcd.pem \
--key=/etc/etcd/ssl/etcd-key.pem \
--cacert=/etc/kubernetes/ssl/ca.pem \
member list --write-out=table

在这里插入图片描述

3.6 查看集群健康状态

ETCDCTL_API=3 etcdctl \
--endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379" \
--cert=/etc/etcd/ssl/etcd.pem \
--key=/etc/etcd/ssl/etcd-key.pem \
--cacert=/etc/kubernetes/ssl/ca.pem \
endpoint health

在这里插入图片描述

3.7 查看节点状态

ETCDCTL_API=3 etcdctl \
--endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379" \
--cert=/etc/etcd/ssl/etcd.pem \
--key=/etc/etcd/ssl/etcd-key.pem \
--cacert=/etc/kubernetes/ssl/ca.pem \
endpoint status --write-out=table

在这里插入图片描述

4. 定时备份

4.1创建备份的脚本

vim /opt/kubernetes/work/etcd-backup.sh

#!/bin/bash
#时间戳，用来区分不同备份
timestamp=`date +%Y%m%d-%H%M%S`
#备份到哪个文件夹
back_dir="/data/kubernetes/etcd/datas_bak"
#etcd集群列表
endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379"
#etcd证书路径
cert_file="/etc/etcd/ssl/etcd.pem"
#etcd证书的key路径
key_file="/etc/etcd/ssl/etcd-key.pem"
#ca证书路径
cacert_file="/etc/kubernetes/ssl/ca.pem"

mkdir -p $back_dir
ETCDCTL_API=3 etcdctl \
--endpoints="${endpoints}" \
--cert=$cert_file \
--key=$key_file \
--cacert=$cacert_file \
snapshot save $back_dir/snapshot_$timestamp.db

赋予可执行权限：

chmod +x /opt/kubernetes/work/etcd-backup.sh

4.2 测试执行脚本

/opt/kubernetes/work/etcd-backup.sh

在这里插入图片描述
显示已经保存到指定目录下。

4.3 加入定时任务

注：
crond默认不会加载该用户的.profile和.bashrc文件，它的执行环境只能有一些最基本的环境变量

修改脚本文件：

我们需要修改下/opt/kubernetes/work/etcd-backup.sh脚本文件

vim /opt/kubernetes/work/etcd-backup.sh

#!/bin/bash
#时间戳，用来区分不同备份
timestamp=`date +%Y%m%d-%H%M%S`
#备份到哪个文件夹
back_dir="/data/kubernetes/etcd/datas_bak"
#etcd集群列表
endpoints="https://192.168.137.231:2379,https://192.168.137.232:2379,https://192.168.137.233:2379"
#etcd证书路径
cert_file="/etc/etcd/ssl/etcd.pem"
#etcd证书的key路径
key_file="/etc/etcd/ssl/etcd-key.pem"
#ca证书路径
cacert_file="/etc/kubernetes/ssl/ca.pem"

mkdir -p $back_dir
ETCDCTL_API=3 /opt/kubernetes/bin/etcdctl \
--endpoints="${endpoints}" \
--cert=$cert_file \
--key=$key_file \
--cacert=$cacert_file \
snapshot save $back_dir/snapshot_$timestamp.db

ETCDCTL_API=3 etcdctl修改为ETCDCTL_API=3 /opt/kubernetes/bin/etcdctl，即修改成etcdctl的执行文件全路径。

加入crontab：

crontab -e

新增一行：

*/1 * * * * sh /opt/kubernetes/work/etcd-backup.sh

这行命令让**/opt/kubernetes/work/etcd-backup.sh**脚本在每分钟执行一次

启动crond服务并查看状态：

service crond start && service crond status

如果出现如下错误：

11月 22 11:32:01 node01 crond[3080]: sendmail: fatal: parameter inet_interfaces: no local interface found for ::1

则需要修改/etc/postfix/main.cf文件

vim /etc/postfix/main.cf

修改：inet_interfaces = all
在这里插入图片描述

重启postfix服务

service postfix restart

这时候crond服务可以正常使用。

4.4 查看是否备份成功

ll /data/kubernetes/etcd/datas_bak/

可以看到每分钟都有新的备份文件出现。
在这里插入图片描述
当我们需要投入使用的时候，可以更改定时策略，将每分钟改成适当的时间。crond语法可以自行百度。

下辈子不做程序猿
关注
  • 1
    点赞
  • 踩
  • 8
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
etcd备份与恢复
weixin_33701617的博客
05-21 396
目录 备份 恢复 备份 通常而言，etcd都是集群部署，其实并不需要额外备份，但实在是架不住猪队友误操作。 写一个简单的etcd备份脚本如下： #!/bin/bash set -e exec >> /var/log/backup_etcd.log Date=`date +%Y-%m-%...
ETCD备份恢复脚本
qq_44397993的博客
03-13 407
etcd备份恢复
Kubernetes集群上的Etcd备份和恢复
最新发布
didiplus
05-23 946
在本教程中，您将学习如何在Kubernetes集群上使用etcd快照进行etcd备份和恢复。在Kubernetes架构中，etcd是集群的重要组成部分。所有集群对象及其状态都存储在etcd中。为了更好地理解Kubernetes，有几点关于etcd的信息是您需要了解的。
etcd 备份与恢复
u010533742的博客
05-12 185
etcd备份脚本 #!/bin/bash # ETCDCTL_PATH='/opt/kube/bin/etcdctl' BACKUP_DIR='/etcd_backup' DATE=`date +%Y%m%d-%H%M%S` [ ! -d $BACKUP_DIR ] && mkdir -p $BACKUP_DIR export ETCDCTL_API=3;$ETCDCTL_PATH snapshot save $BACKUP_DIR/snapshot-$DATE\.db #只留10份 .
etcd备份 创建yaml定期备份
m0_73256973的博客
04-04 638
在etcd 3.5.9版本中，您可以使用etcdctl命令行工具来备份您的etcd数据。备份操作是通过创建etcd数据目录的快照来完成的。请确保您有足够的权限执行以下命令，并且etcd服务正在运行。--cacert--cert--key请根据您的实际配置替换上述命令中的路径和终端地址。如果您的etcd集群没有启用TLS加密，那么可以省略--cacert--cert, 和--key参数。完成备份后，您可以使用。
云原生|kubernetes|kubernetes的etcd集群备份策略
zsk_john的技术分享专用博客
09-28 1387
【代码】云原生|kubernetes|kubernetes的etcd集群备份策略。
etcd集群备份和数据恢复.md
10-18
etcd集群备份和数据恢复
mysql集群下的备份和恢复.docx
09-18
物理恢复则需要用到`ndb_restore`工具，它能够从备份文件中恢复数据节点。`ndb_restore`的具体用法因集群配置和备份类型的不同而有所变化，通常需要对集群状态有深入了解才能正确执行。 **总结来说，MySQL集群的...
k8s数据备份与恢复文档etcd 3.3.10
10-19
在实际生产环境中，为了实现高可用性，可能还需要考虑多副本etcd集群的备份策略，以及在不停止整个集群的情况下进行热备份的可能性。同时，定期备份并验证恢复流程是防止数据丢失的关键步骤。在k8s中，还可以利用...
根据etcd备份文件，重建etcd，恢复k8s
weixin_42323738的博客
03-15 520
4）为每台机器配置外接etcd的前期配置，安装参考文档：https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/setup-ha-etcd-with-kubeadm/5) 由于etcd为外接集群，所以当我们更换集群时，我们的kubadm-config在初始化时添加的etcd集群的配置无法更新，需要我们手动更新，更新的configmaps为kubeadm-config。4）观察所有的pod对于一些失败的pod，删除重建即可。
使用cronjob备份etcd
Linux_cui的博客
07-28 293
etcd备份
ETCD备份与恢复
K要努力的博客
10-25 3426
ETCD备份与恢复。
k8s-kubernetes--etcd的备份和恢复
Gong_yz的博客
03-20 1654
Etcd被形容为Kubernetes集群的大脑，是 Kubernetes的关键组件，因为它存储了集群的整个状态：其配置，规格以及运行中的工作负载的状态。 在Kubernetes世界中，etcd用作服务发现的后端，并存储集群的状态及其配置。 Etcd被部署为一个集群，几个节点的通信由Raft算法处理。
ETCD 常用操作，及数据备份和恢复
zyw_0813的博客
02-07 3242
ETCD 常用操作，及数据备份和恢复。
K8S篇之etcd数据备份与恢复
xu710263124的博客
11-09 1234
etcd的备份和恢复
Etcd备份及恢复
m0_37817456的博客
08-17 1595
-initial-cluster \ #集群中所有实例通讯地址。--initial-cluster-token etcd-cluster \ #集群名字，不要与已有集群冲突。--initial-advertise-peer-urls \ #当前实例进群通讯地址。2、备份完成后会在当前目录生成备份文件。4、启动恢复后的集群。
etcd的备份与还原
划水的银开的博客
07-03 2442
一、说明 etcd有两种类型的版本，一种是api版本，一种是etcd数据库版本。对于api版本，有v2和v3版本。对于etcd数据库：版本也是有v2和v3版本。在etcd数据库2.3以后的版本，etcd即可以用api的2版本，也可以用api的v3版本来操作etcd数据库。v2 与 v3 API 使用了不同的存储引擎，所以客户端命令也完全不同。而使用这两种api版本生成的数据不能混合存放。官方对v2...
etcd的备份和恢复--基于快照
soliso
01-04 2409
etcd的备份和恢复--基于快照
k8s中 etcd在生产中备份与恢复数据的实例
06-10
在 Kubernetes（k8s）集群中，etcd是一个关键组件，它存储了整个集群的配置信息、状态信息和元数据。对于生产环境中的 k8s 集群，备份和恢复 etcd 数据是非常重要的，以确保集群的可用性和数据的完整性。 以下是备份和恢复 etcd 数据的步骤： 备份 etcd 数据： 1. 连接到 etcd 集群中的任意一个节点。 2. 运行以下命令备份 etcd 数据： ``` ETCDCTL_API=3 etcdctl --endpoints=<etcd-endpoint> snapshot save <backup-file> ``` 其中，`<etcd-endpoint>` 是 etcd 集群的地址，`<backup-file>` 是备份文件的路径和名称。 3. 备份完成后，将备份文件复制到安全的位置进行存储。 恢复 etcd 数据： 1. 连接到新的 etcd 集群中的任意一个节点。 2. 运行以下命令恢复 etcd 数据： ``` ETCDCTL_API=3 etcdctl snapshot restore <backup-file> \ --name <name> \ --initial-cluster <initial-cluster> \ --initial-cluster-token <initial-token> \ --initial-advertise-peer-urls <peer-url> ``` 其中，`<backup-file>` 是备份文件的路径和名称，`<name>` 是新的 etcd 集群名称，`<initial-cluster>` 是新的 etcd 集群成员列表，`<initial-token>` 是新的 etcd 集群令牌，`<peer-url>` 是新的 etcd 集群成员的地址。 3. 恢复完成后，重启 etcd 服务，以使其使用新的数据。 需要注意的是，备份和恢复 etcd 数据需要谨慎操作，以免造成数据丢失或不一致。建议在进行备份和恢复操作前先进行测试，并确保备份文件的存储位置安全可靠。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值