ETCD -- 压缩（Compaction）​详解

最新推荐文章于 2025-04-17 11:10:44 发布
最新推荐文章于 2025-04-17 11:10:44 发布
阅读量304 收藏
点赞数
CC 4.0 BY-SA版权
分类专栏： # kubernetes 文章标签： etcd 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/qq_41768644/article/details/146437471

在 ​etcd 中，​数据压缩（Compaction）的本质是删除历史版本数据，但 ​不会删除键的当前最新值。这是 etcd 优化存储空间和性能的核心机制之一。

一、压缩（Compaction）的本质

1. ​删除历史版本

压缩操作会删除指定 revision 之前的所有 ​历史版本​（即旧值），但保留键的 ​当前最新值。
示例：

键 /mykey 被修改了 3 次，对应的 revision 为 100、200、300。
执行 compact 250 后：
revision ≤250 的历史数据被删除（如 revision 100 和 200 的旧值）。
键的当前值（revision 300）仍然保留。

2. ​存储优化

压缩通过清理不再需要的历史版本，减少 etcd 的存储占用，提升查询性能（尤其是范围查询）。

3. ​不影响最新数据

当前值始终保留：无论是否压缩，键的当前最新值（即最后一次写入的值）都不会被删除。

二、压缩配置

1. 基于时间：保留最近一段时间的历史版本。

# 保留 24 小时内的历史, 24小时外的删除
了解本专栏 订阅专栏 解锁全文 超级会员免费看
ETCD ---snapshot 详解
qq_41768644的博客
03-30 697
etcd snapshot详解
ETCD使用中需要注意的问题--自动压缩--最大字节数--存储数据大小
一名数据库爱好者的专栏
08-19 1654
我们在实际生产中使用ETCD存储元数据，　起初集群规模不大的时候元数据信息不多没有发现什么问题。随着集群规模越来越大问题逐渐暴露了有些实际的配置还是需要在初始化的时候就研究确定。
彻底搞懂 etcd 系列文章（九）：etcd compact 和 watch API
aoho求索
09-21 1720
0 专辑概述etcd 是云原生架构中重要的基础组件，由 CNCF 孵化托管。etcd 在微服务和 Kubernates 集群中不仅可以作为服务注册与发现，还可以作为 key-value ...
etcd 数据压缩
weixin_42323738的博客
02-24 1360
etcd数据压缩
etcd压缩包安装下载
09-24
Etcd. 国内直接从官网下载比较困难，etcd 是一个高可用的 Key/Value 存储系统，主要用于分享配置和服务发现。此产品下载之后，解压即可使用
Etcd 压缩整理
小楼一夜听春雨，深巷明朝卖杏花
04-17 4295
内存中的存储除了顺序化的记录下所有用户对节点数据变更的记录外，还会对用户数据进行索引、建堆等方便查询的操作。历史版本越多，存储空间越大，性能越差，直到etcd到达空间配额限制的时候，etcd的写入将会被禁止变为只读，影响线上服务，因此这些历史版本需要进行压缩。由于ETCD数据存储多版本数据，随着写入的主键增加历史版本需要定时清理，默认的历史数据是不会清理的，数据达到2G就不能写入，只是对给定版本之前的历史版本进行清理，清理后数据的历史版本将不能访问，但不会影响现有最新数据的访问。
Etcd 压缩清理和备份恢复——筑梦之路
筑梦之路
01-06 1632
ETCD 压缩清理 #使用API3 export ETCDCTL_API=3 # 查看告警信息，告警信息一般 memberID:8630161756594109333 alarm:NOSPACE etcdctl --endpoints=http://127.0.0.1:2379 alarm list # 获取当前版本 rev=$(etcdctl --endpoints=http://127.0.0.1:2379 endpoint status --write-out="json" | egrep -o.
k8s学习笔记（5）--- kubernetes核心组件之etcd详解
梦谜的博客
12-29 4608
kubernetes核心组件之etcd详解一、etcd二、etcd部署1.采用etcd镜像的方式部署1.1 将服务器添加进集群的两种方式1.1.1 将服务器挨个添加进集群 一、etcd         etcd是一个高可用的键值存储系统，主要用于共享配置和服务发现。etcd是由CoreOS开发并维护的，灵感来自于 Zo...
etcd参数解释
liao__ran的博客
08-21 1228
etcd参数解释
Etcd特性学习2——数据操作
丰年留客的专栏
04-30 1502
0x01 endpoint endpoint即意为端点，指向客户端提供服务的一个服务入口。Etcd集群中每个节点都可以提供一个端点。严格来说，endpoint不属于数据操作范畴，但与后续defrag有关联，是理解defrag的前提，就先放这里了。 提供了3个子命令。 hashkv 打印出KV历史的hash值。是用来检查请求发生时各端点的记录是否一致。可以计算指定的revison版本。 health 检查端点是否健康。可以用于检查端点是否健康。可以通过-w json的全局选项，返回json格式，方便使用方解
ETCD数据空间压缩清理
weixin_30905981的博客
03-07 1687
场景：做etcd数据镜像的时候出现如下错误 Error: etcdserver: mvcc: database space exceeded 通过查找官方文档https://coreos.com/etcd/docs/latest/op-guide/maintenance.html 确定解决方案，通过执行命令压缩etcd空间并且整理空间碎片即可 命令如下： #使用API3 export...
请小心ETCD的Compact
csdnYF的博客
09-19 2167
本文想讨论一些ETCD的使用注意事项，ETCD作为一个分布式KV数据库，作用有很多，下面以用ETCD作为配置中心来举例，用到了ETCD关键的两个功能：Watch和Revision。Watch可以实时推送配置变更，而Revision可以回溯配置的历史变更列表。关于Revision的概念，请参考在ETCD中，老实说对Revision的概念支持的不是很好，虽然标榜自己是可以回溯历史版本的，但我找了半天，除了一个--rev参数，没有找到更多的API来利用这些历史版本。可以通过。
ETCD 压缩调优配置
su_ren的博客
07-08 3194
应用场景： etcd有默认的存储空间。官方推荐2个g，可以配置到8个g。这个空间用来存储etcd的key-value。 etcd的存储方式： etcd对一个key的操作是 append，对一个key的操作，是一个增加版本号的操作，存储起来。然后对这些key根据版本号压缩。 一个trick，etcd可以访问历史数据（在被压缩之前） etcd的压缩： 压缩有两种方式： 按时间段来（配置开启，periodic）： 每1/10个配置的时间段，执行一次压缩，压缩的数据是1/10个小时计算的。 按
[etcd] Raft理论学习（四）（日志压缩）
03-19 760
7 Log compaction Raft’s log grows during normal operation to incorporate more client requests, but in a practical system, it cannot grow without bound. As the log grows longer, it occupies more space...
etcdv3.6源码流程---compact
cser的博客
05-05 734
因为treeIndex中包含所有的elemkey，所以压缩的思路就是先遍历整个treeIndex来进行压缩：没有被删除的elemkey就用最后一次写入的值来覆盖，然后把该elemkey对应的(revision,version)作为key保存到一个map keep中，被删除的key则不会保存到该map keep中，然后遍历数据库中所有key,如果该key即(revision,version)不在map keep中，那么就从数据库中删除该key，如果在，则跳过，然后就完成了整个压缩操作。
云计算-etcd压缩整理操作
weixin_42092987的博客
08-27 138
巡检的时候，发现etcd数据量较大，需要压缩处理登录后复制 #首先确认数据情况 /usr/bin/etcdctl --endpoints=$(kubectl get no -owide|awk '$3 == "master"{print$1}'|xargs -I {} printf "https://{}:2379,"|...
Etcd架构与实现解析
热门推荐
dirk2014的博客
12-09 1万+
前一段时间的项目里用到了 Etcd（http://jolestar.com/etcd-architecture）， 所以研究了一下它的源码以及实现。网上关于 Etcd 的使用介绍的文章不少，但分析具体架构实现的文章不多，同时 Etcd v3的文档也非常稀缺。本文通过分析 Etcd 的架构与实现，了解其优缺点以及瓶颈点，一方面可以学习分布式系统的架构，另外一方面也可以保证在业务中正确使用 Etc
【重识云原生】第六章容器6.3.4节——etcd组件
junbaozi的专栏
09-20 956
​etcd是CoreOS基于Raft协议开发的分布式key-value存储系统，可用于服务发现、共享配置以及一致性保障（如数据库选主、分布式锁等），授权协议为Apache。在分布式系统中，如何管理节点间的状态一直是一个难题，etcd像是专门为集群环境的服务发现和注册而涉及，它提供了数据TTL失效、数据改变监视、多值、目录监听、分布式锁原子操作等功能，可以方便的跟踪并管理集群节点的状态。
etcd的部署和简单使用
潮听哥的博客
05-03 3354
一、什么是etcd etcd 是一个高可用的分布式 KV 系统，可以用来实现各种分布式协同服务。etcd 采用的一致性算 法是 raft，基于 Go 语言实现。 etcd 最初由 CoreOS 的团队研发，目前是 Could Native 基金会的孵化项目。 为什么叫 etcd：etc来源于 UNIX 的 /etc 配置文件目录，d 代表 distributed system。 二、etcd的应用场景 典型应用场景： • Kubernetes 使用 etcd 来做服务发现和配置信息管理。 • Open
docker run -d \ --name etcd-v1 \ --network bridge \ -p 2379:2379 \ -p 2380:2380 \ -v etcd-data:/etcd-data \ quay.io/coreos/etcd:v3.5.12 \ etcd \ --name=s1 \ --data-dir=/etcd-data \ --listen-client-urls=http://0.0.0.0:2379 \ --advertise-client-urls=http://139.224.239.239:2379 \ --listen-peer-urls=http://0.0.0.0:2380 \ --initial-advertise-peer-urls=http://172.18.0.2:2380 \ --initial-cluster="s1=http://172.18.0.2:2380" \ --initial-cluster-token=etcd-cluster-1 \ --initial-cluster-state=new \ --auto-compaction-retention=1 \ --quota-backend-bytes=8589934592 这是我现在创建容器的命令，按照正常的该我改一下，解决上面的报错
最新发布
08-09
<think>我们注意到用户之前尝试使用systemctl管理etcd服务，但发现服务不存在（Unit etcd.service could not be found），同时使用etcdctl时出现命令未找到（-bash: etcdctl: command not found）。根据用户提供的引用内容，用户希望使用Docker部署etcd，因此我们不需要通过systemctl管理etcd服务（因为etcd运行在容器中），而是通过Docker命令管理容器。 用户的需求是：修改当前的docker run命令以正确部署etcd容器，并解决etcdctl未找到的问题。 分析： 1. 用户之前运行etcd容器可能没有正确配置，或者容器已经停止，导致无法连接。 2. 用户直接在宿主机上执行etcdctl，但宿主机并没有安装etcdctl客户端，所以出现命令未找到。 解决方案： 1. 使用Docker运行etcd容器，并确保容器在后台运行（使用-d参数）。 2. 将etcd的客户端端口（2379）映射到宿主机，这样可以通过宿主机的2379端口访问etcd。 3. 为了使用etcdctl命令，我们可以有两种方式： a. 在宿主机上安装etcdctl客户端（通过下载二进制文件或使用包管理器安装）。 b. 通过Docker容器执行etcdctl命令（推荐，因为版本与etcd服务容器一致，且不需要在宿主机安装）。 根据引用[1]中的命令，我们启动一个单节点etcd容器： docker run -d \ --name etcd-single-node \ -p 2379:2379 \ quay.io/coreos/etcd:latest \ /usr/local/bin/etcd \ --name etcd0 \ --advertise-client-urls http://localhost:2379 \ --listen-client-urls http://0.0.0.0:2379 但是，这个命令中，etcd容器使用的是latest标签，可能不是最稳定的版本，建议使用特定版本，例如v3.5.0。 另外，引用[2]和[3]中展示了如何使用另一个etcdctl容器来执行命令，这样可以避免在宿主机安装etcdctl。 因此，我们提供两种方法： 方法一：在宿主机安装etcdctl（以CentOS为例） 步骤1：下载etcdctl二进制文件（注意选择与etcd服务相同版本） ETCD_VER=v3.5.0 wget https://github.com/etcd-io/etcd/releases/download/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz tar xvf etcd-${ETCD_VER}-linux-amd64.tar.gz cd etcd-${ETCD_VER}-linux-amd64 sudo mv etcdctl /usr/local/bin/ 步骤2：验证安装 etcdctl version 方法二：通过另一个etcd容器执行etcdctl命令（推荐，因为不需要在宿主机安装，且版本与服务器一致） docker run --rm -it \ --net host \ quay.io/coreos/etcd:latest \ etcdctl --endpoints=http://localhost:2379 endpoint status 注意：这里使用了`--net host`，使得etcdctl容器使用宿主机的网络，可以直接访问localhost:2379。 但是，如果etcd容器运行在默认的bridge网络下，我们也可以使用容器名称来访问（需要创建同一个网络并指定容器名称）。 根据用户之前的操作，我们发现用户已经通过Docker运行了etcd容器（通过ss命令看到2379端口被docker-proxy占用），但是容器名称未知。因此，我们建议： 1. 停止并删除现有的etcd容器（如果有）： docker stop <container_name> # 如果不知道容器名，可以用docker ps查看 docker rm <container_name> 2. 使用以下命令启动一个新的etcd容器（使用特定版本，避免latest可能带来的变动）： docker run -d \ --name my-etcd \ -p 2379:2379 \ quay.io/coreos/etcd:v3.5.0 \ etcd \ --name etcd0 \ --advertise-client-urls http://localhost:2379 \ --listen-client-urls http://0.0.0.0:2379 3. 验证etcd容器是否运行： docker ps 4. 使用etcdctl容器执行命令（无需在宿主机安装）： docker run --rm -it \ --net host \ quay.io/coreos/etcd:v3.5.0 \ etcdctl --endpoints=http://localhost:2379 endpoint status 或者，也可以进入etcd容器内部执行命令（不推荐，因为etcd容器可能没有包含etcdctl）： docker exec -it my-etcd sh # 然后在容器内执行：etcdctl endpoint status 但是，注意etcd镜像中通常包含etcdctl，所以上面的命令应该可以工作。 如果用户希望使用docker-compose，可以参考引用[3]中的方式编写docker-compose.yml文件。 总结步骤： 步骤1：停止并删除可能存在的旧etcd容器 docker stop my-etcd docker rm my-etcd 步骤2：启动etcd容器 docker run -d \ --name my-etcd \ -p 2379:2379 \ quay.io/coreos/etcd:v3.5.0 \ etcd \ --name etcd0 \ --advertise-client-urls http://localhost:2379 \ --listen-client-urls http://0.0.0.0:2379 步骤3：使用etcdctl容器检查状态 docker run --rm -it \ --net host \ quay.io/coreos/etcd:v3.5.0 \ etcdctl --endpoints=http://localhost:2379 endpoint status 预期输出： 127.0.0.1:2379 is healthy 注意：如果使用`--net host`出现权限问题，可以尝试使用`--network="host"`（在Linux环境下）。 另外，如果用户不想使用host网络，也可以将etcdctl容器连接到同一个bridge网络（默认就是bridge，且通过端口映射，所以通过localhost:2379访问即可）。 因此，上述命令在Linux宿主机上应该可以正常运行。 如果用户需要经常使用etcdctl命令，可以在宿主机上设置别名（alias）来简化命令： alias etcdctl='docker run --rm -it --net host quay.io/coreos/etcd:v3.5.0 etcdctl' 然后就可以直接使用： etcdctl --endpoints=http://localhost:2379 endpoint status 这样，用户就不会再遇到“etcdctl: command not found”错误。 关于服务未找到（Unit etcd.service could not be found）的问题，因为etcd是通过Docker容器运行的，所以不需要systemd服务管理。用户可以通过docker命令管理容器： docker start my-etcd # 启动 docker stop my-etcd # 停止 docker restart my-etcd # 重启 最后，为了确保容器在宿主机重启后自动启动，可以添加`--restart always`参数： docker run -d \ --restart always \ --name my-etcd \ -p 2379:2379 \ quay.io/coreos/etcd:v3.5.0 \ etcd \ --name etcd0 \ --advertise-client-urls http://localhost:2379 \ --listen-client-urls http://0.0.0.0:2379 这样，etcd容器就会在宿主机重启后自动启动。 综上所述，我们通过Docker容器运行etcd服务，并通过另一个etcd容器提供etcdctl命令，解决了用户的问题。</think>### 解决 Docker 部署 ETCD 的问题 根据您的问题和引用内容，以下是完整的解决方案，解决 `etcdctl: command not found` 和 `Unit etcd.service could not be found` 错误： --- ### 1. **修改 Docker 命令部署 ETCD** 修改您的 `docker run` 命令如下（关键修改已标记）： ```bash docker run -d \ --name etcd-single-node \ -p 2379:2379 \ -p 2380:2380 \ # 新增管理端口映射 --restart unless-stopped \ # 添加自动重启 quay.io/coreos/etcd:latest \ /usr/local/bin/etcd \ --name etcd0 \ --advertise-client-urls http://0.0.0.0:2379 \ # 修改为0.0.0.0 --listen-client-urls http://0.0.0.0:2379 \ --initial-advertise-peer-urls http://0.0.0.0:2380 \ --listen-peer-urls http://0.0.0.0:2380 ``` **关键修改说明**： 1. `-p 2380:2380`：添加 peer 通信端口映射[^1] 2. `--advertise-client-urls http://0.0.0.0:2379`：允许所有IP连接 3. `--restart unless-stopped`：确保容器自动重启 4. 添加 peer 相关参数保证集群基础功能 --- ### 2. **解决 `etcdctl: command not found` 错误** #### 方法1：使用 Docker 容器执行 etcdctl（推荐） ```bash docker exec -it etcd-single-node etcdctl \ --endpoints=http://localhost:2379 \ endpoint status ``` #### 方法2：下载 etcdctl 二进制文件 ```bash # 下载特定版本（与容器版本匹配） ETCD_VER=$(docker exec etcd-single-node etcd --version | head -1 | awk '{print $3}') curl -L https://github.com/etcd-io/etcd/releases/download/${ETCD_VER}/etcd-${ETCD_VER}-linux-amd64.tar.gz | tar xz # 安装到系统路径 sudo mv etcd-${ETCD_VER}-linux-amd64/etcdctl /usr/local/bin/ ``` --- ### 3. **验证 ETCD 状态** ```bash # 使用容器内 etcdctl docker exec etcd-single-node etcdctl \ --write-out=table \ --endpoints=http://localhost:2379 \ endpoint status ``` **正常输出示例**： ``` +----------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+ | ENDPOINT | ID | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS | +----------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+ | localhost:2379 | 8e9e05c52164694d | 3.5.0 | 20 kB | true | false | 2 | 10 | 10 | | +----------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+ ``` --- ### 4. **解决服务未找到问题** 由于 ETCD 运行在容器中，**不需要 systemd 服务**。使用 Docker 命令管理： ```bash # 启动/停止容器 docker start etcd-single-node docker stop etcd-single-node # 查看日志 docker logs -f etcd-single-node # 设置开机自启 docker update --restart=always etcd-single-node ``` --- ### 5. **常用操作命令** ```bash # 写入数据 docker exec etcd-single-node etcdctl put /message "Hello ETCD" # 读取数据 docker exec etcd-single-node etcdctl get /message # 备份数据 docker exec etcd-single-node etcdctl snapshot save backup.db # 查看成员 docker exec etcd-single-node etcdctl member list ``` --- ### 故障排除流程图 ```mermaid graph TD A[etcdctl not found] --> B{执行方式} B -->|宿主机| C[下载匹配的 etcdctl 二进制] B -->|容器内| D[docker exec etcd-single-node etcdctl] E[服务未找到] --> F{管理方式} F -->|容器| G[使用 docker start/stop 命令] F -->|宿主机| H[安装 etcd 系统服务] I[连接拒绝] --> J[检查端口映射和防火墙] ``` 通过以上步骤，您应该能解决 ETCD 容器部署和 etcdctl 命令问题。如果仍有问题，请提供 `docker logs etcd-single-node` 的输出。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值