etcd 简单使用备份与恢复

原创 已于 2022-10-27 20:57:05 修改 · 1.1k 阅读 · 0 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#etcd #kubernetes #数据库

于 2021-12-22 14:46:26 首次发布
本文介绍etcd作为Kubernetes的重要组件，在集群中的角色及其实现原理。etcd采用Raft一致性算法来保证数据的一致性和高可用性。文章详细讲解了etcd的数据同步流程、安全性保障机制以及如何进行备份与恢复。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

etcd是kubernetes中的一个用于存储k8s元数据信息的存储单元（存储pod node deployment等资源信息），它是类似于redis的存储使用

etcd集群个数推荐或者说必须是奇数个
因为etcd遵循raft协议，需要选主 若为比如4个节点，当有两个节点follower(election time)选举时间到了成为candicate，它们会各自投自己一票，然后还剩两个，如果是一人一票，2比2则要重新投票，所以一般是奇数个etcd节点（http://thesecretlivesofdata.com/raft/）
下一任的leader的任期比上一任的要长。
数据同步是以心跳包的形式，比如etcd leader接受到了数据，它会将数据以心跳包的形式发送到follower上。
每一个key都有ttl，如果不续约就会过期。
raft协议类似下图：
在这里插入图片描述
日志复制
当Leader收到客户端的日志(事务请求)后，先把日志追加到本地的log中，然后通过heartbeat把entry同步给follower，follower接收到后像leader发送ACK，当Leader收到(n/2+1)follower的ACK后，将日志设置为以提交，并存到local磁盘中，通过hearbeat通知所有的follower将日志存储到本地磁盘。
安全性
如果leader坏了，那么需要保证新选的leader一定要包含之前的committed log的机制

**

WAL 日志（write ahead log)

**
wal日志是二进制的，解析出来是四个字段
第一个字段 type(0 nomal 1 ConfChange 表示etcd本身配置变更同步，比如有新的节点加入等)
第二个字段 term(任期)，
第三个字段是index，递增的
第四个数据是二机制data，是protobuf结构

export ETCDCTL_API=3
目前大部分都是使用的etcd 版本三

etcdctl 是需要认证的一般使用格式如下
etcdctl --endpoints+https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/health-client.crt --key=/etc/health-client.key snapshot save /opt/data.db
可以使用别名
etcdctl --endpoints=https://[127.0.0.1]:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/healthcheck-client.crt --key=/etc/kubernetes/pki/etcd/healthcheck-client.key member list -w table

查看所有key值
etcdctl get / --prefix --keys-only

查看集群节点状态
etcdctl endpoint status -w table
etcdctl endpoint health -w table

设置key值
etcdctl put wuyong 18
取key值
etcdctl get wuyong

etcd备份与恢复

etcd
etcdctl --endpoints+https://127.0.0.1:2379 --cacert=/etc/kubernetes/pki/etcd/ca.crt --cert=/etc/kubernetes/pki/etcd/health-client.crt --key=/etc/health-client.key snapshot save /opt/data.db

etcdctl restore /opt/data.db

Etcd备份及恢复
m0_37817456的博客
08-17 1780
-initial-cluster \ #集群中所有实例通讯地址。--initial-cluster-token etcd-cluster \ #集群名字，不要与已有集群冲突。--initial-advertise-peer-urls \ #当前实例进群通讯地址。2、备份完成后会在当前目录生成备份文件。4、启动恢复后的集群。
ETCD 备份与还原
red_sky_blue的专栏
05-29 889
etcd数据备份与还原
【云原生】Kubernetes----ETCD数据的备份与恢复
hy199707的博客
06-29 2682
在Kubernetes集群中，ETCD是一个至关重要的组件，负责存储集群的状态信息和配置数据。从集群的规格、配置到运行中的工作负载状态，ETCD都承载着关键的数据。因此，对ETCD数据进行定期备份和恢复策略的制定，对于确保Kubernetes集群的可靠性与数据完整性至关重要。本文将详细介绍如何在Kubernetes中执行ETCD数据的备份与恢复操作。
云原生数据库安全核心：etcd的ACL与备份实战指南
like21a的博客
06-25 769
🔥「炎码工坊」技术弹药已装填！点击关注 → 解锁工业级干货【工具实测|项目避坑|源码燃烧指南】etcd安全架构示意图。
etcd 备份与恢复
u010533742的博客
05-12 242
etcd备份脚本 #!/bin/bash # ETCDCTL_PATH='/opt/kube/bin/etcdctl' BACKUP_DIR='/etcd_backup' DATE=`date +%Y%m%d-%H%M%S` [ ! -d $BACKUP_DIR ] && mkdir -p $BACKUP_DIR export ETCDCTL_API=3;$ETCDCTL_PATH snapshot save $BACKUP_DIR/snapshot-$DATE\.db #只留10份 .
ETCD备份与恢复
K要努力的博客
10-25 5145
ETCD备份与恢复。
etcd备份与恢复
weixin_33701617的博客
05-21 458
目录 备份 恢复 备份 通常而言，etcd都是集群部署，其实并不需要额外备份，但实在是架不住猪队友误操作。 写一个简单的etcd备份脚本如下： #!/bin/bash set -e exec >> /var/log/backup_etcd.log Date=`date +%Y-%m-%...
ETCD数据的备份和恢复
weixin_54648312的博客
12-30 1683
执行完成后，会创建一个定时任务，这个定时任务会每隔3小时在主节点的/data/etcd_backup_dir目录下生成文件名etcd-snapshot-节点名-时间.db的备份文件。#ETCD集群间通信的IP和端口；注意此处改为自己的实际ETCD服务配置的name。#ETCD集群间通信的IP和端口；注意此处改为自己的实际ETCD服务配置的name。# 从 ETCD集群的leader节点机器上拷贝备份到另外2台ETCD节点上。# 从 ETCD集群的leader节点机器上拷贝备份到另外2台ETCD节点上。
4年程序员30天面试了23家公司，看到公司名单后，网友，面试字节跳动Java研发岗
m0_60147147的博客
03-27 704
既已说到spring cloud alibaba，那对于整个微服务架构，如果想要进一步地向上提升自己，到底应该掌握哪些核心技能呢？就个人而言，对于整个微服务架构，像RPC、Dubbo、Spring Boot、Spring Cloud Alibaba、Docker、kubernetes、Spring Cloud Netflix、Service Mesh等这些都是最最核心的知识，架构师必经之路！下图，是自绘的微服务架构路线体系大纲，如果有还不知道自己该掌握些啥技术的朋友，可根据小编手绘的大纲进行一个参考。
etcd的备份和恢复--基于快照
soliso
01-04 2799
etcd的备份和恢复--基于快照
K8s集群的Etcd数据库的备份与还原
lihongbao80的专栏
08-25 2819
etcd备份还原
etcd 部署、备份与恢复
weixin_30745553的博客
09-03 326
### etcd 部署 wget https://github.com/etcd-io/etcd/releases/download/v3.3.13/etcd-v3.3.13-linux-amd64.tar.gztar -zxvf etcd-v3.3.13-linux-amd64.tar.gzcd etcd-v3.3.13-linux-amd64目录下有两个可执行文件etcd 和 ...
etcd备份
u010560161的博客
03-21 496
1、备份 在其中一台备份： etcdctl --endpoints=https://10.30.24.107:2379 \ --cacert=/etc/ssl/etcd/ssl/ca.pem \ --key=/etc/ssl/etcd/ssl/member-master1-key.pem \ --cert=/etc/ssl/etcd/ssl/member-master1.pem \ snapshot save /root/etcd-backup/etcd-snapshot.db 备..
ETCD 常用操作，及数据备份和恢复
zyw_0813的博客
02-07 3685
ETCD 常用操作，及数据备份和恢复。
ETCD的备份和恢复
Richardlygo的博客
09-10 983
由于ETCD的重要性，确保其数据的安全性和可靠性至关重要。通过采用适当的备份策略和恢复流程，可以有效地减少数据丢失的风险，提高系统的可靠性和可用性。这种备份方式更适用于增量备份，因为WAL文件记录了所有的写操作，可以通过重放这些操作来恢复到某个特定的状态。这种方式的优点是可以快速地创建出整个数据集的完整副本，缺点是快照文件较大，且在快照生成期间ETCD可能无法处理写操作。ETCD提供了多种备份方式，其中最常用的两种是快照备份和日志备份。清空原有的ETCD数据目录，确保不会与恢复的数据产生冲突。
etcd常用命令与备份恢复-Day03
qq_42515722的博客
05-30 1787
etcd启动基本就是靠传参的方式。
Etcd 备份&还原
会哭的雨@的博客
08-11 296
etcd 备份 ETCDCTL_API=3 /usr/local/bin/etcdctl --cacert=/etc/etcd/ca.pem --cert=/etc/etcd/server.pem --key=/etc/etcd/server-key.pem --endpoints https://mcd-etcd-server-1:2379 snapshot save /backup_data/etcd/etcdV3bak/20210811/etcd-snapshot-2106.db
【Kubernetes】K8s 之 ETCD - 恢复备份
mm1234556的博客
06-06 852
这是一篇关于 ETCD 如何恢复备份的文章！
k8s中etcd备份与恢复 etcd.3.5.9
最新发布
07-29
在 Kubernetes 中进行 etcd 的备份与恢复操作是保障集群元数据安全的重要措施。etcd 是 Kubernetes 集群的核心组件之一，用于存储集群的状态信息和配置数据。因此，定期备份 etcd 数据可以防止数据丢失，并在发生故障时实现快速恢复。以下是基于 etcd v3.5.9 的备份与恢复流程说明。 ### 一、etcd 备份 etcd 提供了内置的快照功能，可用于备份集群状态。以下是一个使用 `etcdctl` 命令行工具进行备份的示例： ```bash ETCDCTL_API=3 etcdctl \ --cacert=/etc/kubernetes/pki/etcd/ca.crt \ --cert=/etc/kubernetes/pki/apiserver-etcd-client.crt \ --key=/etc/kubernetes/pki/apiserver-etcd-client.key \ --endpoints=https://<etcd-host>:2379 \ snapshot save /backup/etcd-snapshot.db ``` 其中 `<etcd-host>` 是 etcd 集群的一个健康节点地址。此命令会将当前 etcd 集群的状态保存为一个快照文件 `etcd-snapshot.db`，并输出快照的哈希值、版本号、键值对数量和文件大小等信息[^2]。 为了实现自动化备份，可以使用 Kubernetes 的 CronJob 资源定期执行上述命令，确保 etcd 数据的持续保护。 ### 二、etcd 恢复 当需要恢复 etcd 数据时，可以通过 `etcdctl` 的快照恢复功能来完成。假设当前 etcd 集群已经无法正常运行，则可以使用如下命令恢复数据： ```bash ETCDCTL_API=3 etcdctl \ --cacert=/etc/kubernetes/pki/etcd/ca.crt \ --cert=/etc/kubernetes/pki/apiserver-etcd-client.crt \ --key=/etc/kubernetes/pki/apiserver-etcd-client.key \ snapshot restore /backup/etcd-snapshot.db \ --data-dir=/var/lib/etcd-from-backup ``` 此命令将快照文件 `etcd-snapshot.db` 恢复到指定的数据目录 `/var/lib/etcd-from-backup` 中。恢复完成后，需要更新 etcd 的配置文件（如 `/etc/kubernetes/manifests/etcd.yaml`），将数据目录指向新的位置，并重启 etcd 服务以应用更改。 ### 三、跨节点迁移与版本一致性 如果需要在不同节点之间迁移 etcd 数据或确保所有节点使用相同的 etcd 版本（如 v3.5.9），可以通过 `scp` 命令复制快照文件和 etcd 二进制文件： ```bash scp /backup/etcd-snapshot.db user@remote-host:/backup/ scp -r /opt/etcd-v3.5.9-linux-amd64/ user@remote-host:/opt/ ``` 此操作确保了目标节点拥有与源节点一致的 etcd 版本和数据快照，从而实现了 etcd 的跨节点迁移和版本一致性维护[^3]。 ### 四、使用 Docker 快速部署 etcd 对于测试环境或快速部署需求，可以使用 Docker 容器化方式快速启动一个带有证书的 etcd 实例。以下是一个简单的 Docker 命令示例： ```bash docker run -d \ --name etcd \ -p 2379:2379 \ -v $(pwd)/certs:/certs \ quay.io/coreos/etcd:v3.5.9 \ etcd \ --name my-etcd \ --data-dir /etcd-data \ --listen-client-urls https://0.0.0.0:2379 \ --advertise-client-urls https://localhost:2379 \ --cert-file /certs/server.crt \ --key-file /certs/server.key \ --trusted-ca-file /certs/ca.crt \ --client-cert-auth ``` 此命令启动了一个带有 TLS 证书的 etcd 容器，并监听 2379 端口。通过这种方式，可以在短时间内快速搭建起一个安全的 etcd 环境用于测试或开发目的[^4]。 ### 五、验证 etcd 快照内容 在执行备份或恢复操作后，可以通过以下命令验证快照中的数据是否完整： ```bash ETCDCTL_API=3 etcdctl \ --cacert=./ca.crt \ --cert=./server.crt \ --key=./server.key \ --endpoints=localhost:2389 \ get / --prefix --keys-only ``` 此命令将列出 etcd 中的所有键，有助于确认快照中是否包含了预期的数据[^4]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值