更改etcd默认存储2G限制

于 2024-08-22 18:54:32 发布
阅读量113 收藏
点赞数 1
分类专栏： ETCD 文章标签： etcd windows 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/liao__ran/article/details/141435585
版权
系统版本
[root@aaaaaa etcd]# cat /etc/redhat-release 
Red Hat Enterprise Linux release 8.4 (Ootpa)
etcd 版本
[root@aaaaaa etcd]# /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl version
etcdctl version: 3.5.15
API version: 3.5
etcd 配置文件
[root@aaaaaa etcd]# cat /data/etcd/ceshinodefile.yml 
name: node1
data-dir: /data/etcd1/etcddata
listen-client-urls: 'http://192.168.73.114:12379'
advertise-client-urls: 'http://192.168.73.114:12379'
listen-peer-urls: 'http://192.168.73.114:12380'
initial-advertise-peer-urls: 'http://192.168.73.114:12380'
initial-cluster: node1=http://192.168.73.114:12380
initial-cluster-token: etcd-cluster-1
initial-cluster-state: new
# quota-backend-bytes: 8589934592 # 更改etcd存储为8G
etcd 启动脚本
[root@aaaaaa etcd]# cat /data/etcd/etcd-start.sh 
#!/bin/bash
nohup /data/etcd/etcd-v3.5.15-linux-amd64/etcd \
--auto-compaction-retention=1 \
--max-request-bytes=10485760 \
--auth-token jwt \
--config-file=/data/etcd/ceshinodefile.yml \
>> /data/etcd/etcd.log 2>&1 &
etcd 状态查看脚本
[root@aaaaaa etcd]# cat /data/etcd/status-cat.sh 
#!/bin/bash
# 设置环境变量
export ETCDCTL_API=3
ENDPOINTS="http://192.168.73.114:12379"

# 查询集群成员
/data/etcd/etcd-v3.5.15-linux-amd64/etcdctl  \
--endpoints=${ENDPOINTS} \
member list

# 查询端点状态
/data/etcd/etcd-v3.5.15-linux-amd64/etcdctl  \
--endpoints=${ENDPOINTS} \
endpoint status --write-out=table

# 持续查看etcd的状态
# for i in {1..10000};do echo $i;sh -x /data/etcd/status-cat.sh;sleep 5;done
etcd 数据压缩清理脚本
[root@aaaaaa etcd]# cat /data/etcd/compact-defrag-etcd.sh 
#!/bin/bash
# vi compact-defrag-etcd.sh
export ETCDCTL_DIAL_TIMEOUT=30s
# 如果遇到空间不足，可以这样操作：
# 获取当前版本号
rev=$(ETCDCTL_API=3 /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379  endpoint status --write-out="json" | egrep -o '"revision":[0-9]*' | egrep -o '[0-9]*')
# 压缩所有旧版本
ETCDCTL_API=3 /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379 compact $rev
# 去碎片化
ETCDCTL_API=3 /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379 defrag
# 取消警报
ETCDCTL_API=3 /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379  alarm disarm
# 测试通过
ETCDCTL_API=3 /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379 put key0 1234
etcd 批量测试数据写入脚本
# [root@aaaaaa etcd]# cat /data/etcd/test-data-to-etcd.py 

# 安装pyetcd包
# python3 -m pip install etcd-sdk-python

# 导入所需的库和模块
from concurrent.futures import ThreadPoolExecutor
from pyetcd import MultiEndpointEtcd3Client, Endpoint
from pyetcd.exceptions import ConnectionFailedError
import json
import time

# 初始化etcd的连接端点，指定IP地址、端口，关闭安全连接，设置连接失败后30秒重试
etcd = Endpoint(host="192.168.73.114", port=12379, secure=False, time_retry=30)
# 创建一个多端点的etcd客户端，启用故障转移
client = MultiEndpointEtcd3Client([etcd], failover=True)

# 创建一个10秒的租约
l = client.lease(10)
# 准备要存储的数据
data = {"data": 8000}
# 使用租约将数据存储在etcd中，键为"/test_ttl"，值为data的JSON字符串形式
client.put("/test_ttl", json.dumps(data).encode("utf-8"), lease=l)

# 等待5秒
time.sleep(5)
# 尝试获取"/test_ttl"键的值，由于租约未到期，此时应能获取到值
b = client.get("/test_ttl")
print(b)

# 定义一个函数用于在etcd中写入数据
def write_data(etcd, start_index, count):
    for i in range(count):
        key = f"key{start_index + i}"
        value = 'x' * 1024 * 1024  # 每个值的大小设定为1MB
        etcd.put(key, value)  # 写入键值对到etcd

# 设置并发线程数和每个线程写入的记录数
num_threads = 10
records_per_thread = 1000000

# 使用线程池来并发执行数据写入操作
with ThreadPoolExecutor(max_workers=num_threads) as executor:
    futures = []
    for j in range(num_threads):
        start_index = j * records_per_thread
        # 打印
        print(start_index)
        # 向线程池提交任务
        futures.append(executor.submit(write_data, client, start_index, records_per_thread))

    # 等待所有线程执行完成
    for future in futures:
        future.result()

# 所有数据写入完成后打印消息
print("数据写入完成。")
启动etcd
[root@aaaaaa etcd]# sh -x /data/etcd/etcd-start.sh 
+ nohup /data/etcd/etcd-v3.5.15-linux-amd64/etcd --auto-compaction-mode=revision --auto-compaction-retention=1000 --config-file=/data/etcd/ceshinodefile.yml
[root@aaaaaa etcd]# ps -ef |grep '/data/etcd'
root      210091       1  1 18:14 pts/8    00:00:00 /data/etcd/etcd-v3.5.15-linux-amd64/etcd --auto-compaction-mode=revision --auto-compaction-retention=1000 --config-file=/data/etcd/ceshinodefile.yml
root      211266    3550  0 18:15 pts/8    00:00:00 grep --color=auto /data/etcd
etcd 状态查看
[root@aaaaaa etcd]# sh -x /data/etcd/status-cat.sh 
+ export ETCDCTL_API=3
+ ETCDCTL_API=3
+ ENDPOINTS=http://192.168.73.114:12379
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints=http://192.168.73.114:12379 member list
5dd99bf7560a9ed0, started, node1, http://192.168.73.114:12380, http://192.168.73.114:12379, false
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints=http://192.168.73.114:12379 endpoint status --write-out=table
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|          ENDPOINT           |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| http://192.168.73.114:12379 | 5dd99bf7560a9ed0 |  3.5.15 |   20 kB |      true |      false |         2 |          4 |                  4 |        |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
安装python脚本依赖包
[root@aaaaaa etcd]#  python3 -m pip install etcd-sdk-python
etcd测试数据写入
[root@aaaaaa etcd]# python3 /data/etcd/test-data-to-etcd.py 
(b'{"data": 8000}', <pyetcd.client.KVMetadata object at 0x7f7fc9daaa00>)
0
1000000
2000000
3000000
4000000
5000000
6000000
7000000
8000000
9000000
Traceback (most recent call last):
  File "/data/etcd/test-data-to-etcd.py", line 53, in <module>
    future.result()
# 因etcd数据不能写入报错
更改etcd的启动文件，设置存储为8G
[root@aaaaaa etcd]# cat /data/etcd/ceshinodefile.yml 
name: node1
data-dir: /data/etcd1/etcddata
listen-client-urls: 'http://192.168.73.114:12379'
advertise-client-urls: 'http://192.168.73.114:12379'
listen-peer-urls: 'http://192.168.73.114:12380'
initial-advertise-peer-urls: 'http://192.168.73.114:12380'
initial-cluster: node1=http://192.168.73.114:12380
initial-cluster-token: etcd-cluster-1
initial-cluster-state: new
quota-backend-bytes: 8589934592 # 更改etcd存储为8G
查看etcd状态
[root@aaaaaa etcd]# sh -x /data/etcd/status-cat.sh 
+ export ETCDCTL_API=3
+ ETCDCTL_API=3
+ ENDPOINTS=http://192.168.73.114:12379
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints=http://192.168.73.114:12379 member list
5dd99bf7560a9ed0, started, node1, http://192.168.73.114:12380, http://192.168.73.114:12379, false
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints=http://192.168.73.114:12379 endpoint status --write-out=table
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
|          ENDPOINT           |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX |             ERRORS             |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
| http://192.168.73.114:12379 | 5dd99bf7560a9ed0 |  3.5.15 |  2.2 GB |      true |      false |         2 |       1996 |               1996 |   memberID:6762607802076274384 |
|                             |                  |         |         |           |            |           |            |                    |                 alarm:NOSPACE  |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
# DB SIZE 为 2.2GB，etcd默认的存储是2G
对etcd数据进行压缩
[root@aaaaaa etcd]# sh -x /data/etcd/compact-defrag-etcd.sh 
+ export ETCDCTL_DIAL_TIMEOUT=30s
+ ETCDCTL_DIAL_TIMEOUT=30s
++ ETCDCTL_API=3
++ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379 endpoint status --write-out=json
++ egrep -o '"revision":[0-9]*'
++ egrep -o '[0-9]*'
+ rev=1982
+ ETCDCTL_API=3
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379 compact 1982
compacted revision 1982
+ ETCDCTL_API=3
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379 defrag
{"level":"warn","ts":"2024-08-22T18:28:27.470669+0800","logger":"etcd-client","caller":"v3@v3.5.15/retry_interceptor.go:63","msg":"retrying of unary invoker failed","target":"etcd-endpoints://0xc00053a000/192.168.73.114:12379","attempt":0,"error":"rpc error: code = DeadlineExceeded desc = context deadline exceeded"}
Failed to defragment etcd member[http://192.168.73.114:12379] (context deadline exceeded)
+ ETCDCTL_API=3
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379 alarm disarm
memberID:6762607802076274384 alarm:NOSPACE 
+ ETCDCTL_API=3
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints http://192.168.73.114:12379 put key0 1234
OK
查看etcd状态
[root@aaaaaa etcd]# sh -x /data/etcd/status-cat.sh 
+ export ETCDCTL_API=3
+ ETCDCTL_API=3
+ ENDPOINTS=http://192.168.73.114:12379
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints=http://192.168.73.114:12379 member list
5dd99bf7560a9ed0, started, node1, http://192.168.73.114:12380, http://192.168.73.114:12379, false
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints=http://192.168.73.114:12379 endpoint status --write-out=table
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|          ENDPOINT           |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| http://192.168.73.114:12379 | 5dd99bf7560a9ed0 |  3.5.15 |  2.1 GB |      true |      false |         5 |       2015 |               2015 |        |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
重启etcd
[root@aaaaaa etcd]# ps -ef |grep '/data/etcd'|grep -v grep|awk '{print $2}'|xargs kill -9 
[root@aaaaaa etcd]# sh -x /data/etcd/etcd-start.sh 
+ nohup /data/etcd/etcd-v3.5.15-linux-amd64/etcd --auto-compaction-mode=revision --auto-compaction-retention=1000 --config-file=/data/etcd/ceshinodefile.yml
查看etcd日志
在日志中能够找到相关的后端信息
"quota-backend-bytes":8589934592
这个为后端存储为8G，说明已经改到8G了
测试数据写入测试
[root@aaaaaa etcd]# python3 /data/etcd/test-data-to-etcd.py 
(b'{"data": 8000}', <pyetcd.client.KVMetadata object at 0x7ff5ca679a00>)
0
1000000
2000000
3000000
4000000
5000000
6000000
7000000
8000000
9000000
Traceback (most recent call last):
  File "/data/etcd/test-data-to-etcd.py", line 53, in <module>
    future.result()
# etcd存储满导致的报错
查看etcd状态
[root@aaaaaa etcd]# sh -x /data/etcd/status-cat.sh 
+ export ETCDCTL_API=3
+ ETCDCTL_API=3
+ ENDPOINTS=http://192.168.73.114:12379
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints=http://192.168.73.114:12379 member list
5dd99bf7560a9ed0, started, node1, http://192.168.73.114:12380, http://192.168.73.114:12379, false
+ /data/etcd/etcd-v3.5.15-linux-amd64/etcdctl --endpoints=http://192.168.73.114:12379 endpoint status --write-out=table
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
|          ENDPOINT           |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX |             ERRORS             |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
| http://192.168.73.114:12379 | 5dd99bf7560a9ed0 |  3.5.15 |  8.6 GB |      true |      false |         6 |       8007 |               8007 |   memberID:6762607802076274384 |
|                             |                  |         |         |           |            |           |            |                    |                 alarm:NOSPACE  |
+-----------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------------------------------+
# DB SIZE 8.6 GB，说明存已经更改到了8G
liao__ran
关注
  • 1
    点赞
  • 踩
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
ETCD使用中需要注意的问题--自动压缩--最大字节数--存储数据大小
一名数据库爱好者的专栏
08-19 957
我们在实际生产中使用ETCD存储元数据，　起初集群规模不大的时候元数据信息不多没有发现什么问题。随着集群规模越来越大问题逐渐暴露了有些实际的配置还是需要在初始化的时候就研究确定。
etcd数据备份数据恢复数据压缩碎片整理
liao__ran的博客
01-16 616
etcd 数据备份，使用备份数据进行数据库重构，数据压缩，碎片整理
etcd 数据压缩
weixin_42323738的博客
02-24 942
etcd数据压缩
ETCD存储满了如何处理？
qq_24794401的博客
10-31 2154
一、前言当运行 ETCD 日志报 Erro: mvcc database space exceeded 时，说明ETCD存储不足了（默认ETCD存储是2G），配额会触发告警，然后 Etcd 系统将进入操作受限的维护模式。通过下面命令可以查看ETCD存储使用情况：$ETCDCTL_API=3etcdctl--endpoints="http://127.0.0.1:2379"--write-o...
MySQL修改默认存储引擎的实现方法
09-09
MySQL是一种流行的关系型数据库管理系统，它采用了...需要注意的是，修改存储引擎可能会影响数据库的性能和数据的完整性，因此在进行存储引擎更改之前，应当进行充分的测试和备份，以确保操作的安全性和数据的完整性。
通过修改注册表修改exe等默认打开方式
07-19
本文件用于修改注册表来修改默认的打开方式，在reglist.txt文件中输入你想修改的默认打开方式后缀，运行程序后，reglist.txt中的后缀的默认打开方式将会被更改为记事本。然后程序会生成一个outreglist.reg的文件，...
修改Tomcat默认访问根目录的方法
09-30
例如，如果想要将Tomcat的默认访问目录更改为/webapps/guanwang目录，可以在标签内添加如下配置： 对于Linux和Windows系统，文件路径的表示方法略有不同。Linux通常使用正斜杠(/)作为目录分隔符，而Windows使用反...
修改系统默认网速限制.pdf
11-24
标题中的“修改系统默认网速限制”指的是在Windows操作系统中解除对网络带宽的默认限制。Windows XP和Windows 7系统为了系统稳定性和其他后台服务的需求，会默认预留20%的网络带宽，这可能会导致用户在进行大量数据...
WordPress修改评论默认头像的方法
09-28
本文将介绍如何修改WordPress的默认评论头像，使其更为个性化。 首先，需要知道的是，WordPress的头像是通过Gravatar（Globally Recognized Avatar）服务来生成的。Gravatar是一个全球范围内的头像存储和回复系统。...
etcd 的Put请求处理
最新发布
Catastrophe
08-22 330
在介绍etcdctl的内容中，我们知道了etcdctl实际上是向etcd服务端执行了grpc请求获取对应的结果，这一篇主要介绍当向etcd服务端执行Get/Put指令的时候究竟做了哪些工作。
Kubernetes 中如何对 etcd 进行备份和还原
vvvae1234的博客
08-22 824
Kubernetes 作为一个强大的容器编排平台，它的核心组件之一是 etcd。etcd 是一个高可用的键值存储系统，主要用于存储和管理 Kubernetes 集群的状态和配置数据。对于 Kubernetes 集群的可用性和一致性而言，保护 etcd 数据的完整性及可恢复性至关重要。因此，掌握如何对 etcd 进行备份和还原是一项必备技能。本文将深入探讨 etcd 的备份和还原过程，分析其重要性、实际命令示例，并讨论相关的最佳实践。
【Kubernetes中如何对etcd进行备份和还原】
cz88888888666的博客
08-20 580
Kubernetes中对etcd进行备份和还原Kubernetes中对etcd进行备份和还原。
Kubernetes中如何对etcd进行备份和还原
jun778895的博客
08-22 815
在Kubernetes中，etcd作为存储集群所有关键数据的分布式键值存储系统，其数据的备份与还原对于确保集群的可靠性和数据完整性至关重要。以下是关于如何在Kubernetes中对etcd进行备份和还原的详细步骤，内容不少于2000字。
在Kubernetes中etcd作为存储集群
hai40587的博客
08-22 735
在Kubernetes中，etcd作为存储集群所有关键数据的分布式键值存储系统，其数据的备份与还原对于确保集群的可靠性和数据完整性至关重要。以下是关于如何在Kubernetes中对etcd进行备份和还原的详细步骤，内容不少于2000字。
鸿蒙内核源码分析(物理内存篇) | 怎么管理物理内存
黎程雨的博客
08-18 951
鸿蒙内核物理内存采用了段页式管理，先看两个主要结构体.结构体的每个成员变量的含义都已经注解出来，请结合源码理解.
outlook修改默认储存路径
09-09
要修改Outlook的默认储存路径，可以按照以下步骤进行操作： 1. 首先，在计算机上打开Outlook应用程序。 2. 点击左上角的“文件”菜单选项。 3. 在弹出的菜单中，选择“选项”。 4. 在“Outlook选项”窗口中，点击左侧面板的“高级”选项。 5. 在右侧窗格中，找到“导出”部分，并点击“导出”按钮。 6. 弹出的“选定的文件夹和文件导出到”窗口中，可以看到默认的储存路径。 7. 选择你想要修改的默认储存路径，可以通过点击“浏览”按钮来选择一个新的文件夹。 8. 在选择新的文件夹后，点击“确定”按钮。 9. 返回“Outlook选项”窗口，点击“确定”按钮保存所做的更改。 10. 关闭并重新打开Outlook应用程序，新的默认储存路径将生效。 这样，你就成功地修改了Outlook的默认储存路径。请注意，这些步骤可能会因不同的Outlook版本而略有差异，但基本的操作步骤是相似的。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值