etcdV3集群扩容

于 2024-03-22 16:55:36 发布
阅读量344 收藏 2
点赞数 11
分类专栏： 数据库 Kubernetes 文章标签： etcd 数据库
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_43539320/article/details/136946095
版权

一、需求

将目前已有的三节点etcd集群扩容到五节点
注：版本为V3.5

二、详细步骤

1、目前已有的集群信息

目前已有的三节点etcd配置（supervisord托管）

test-etcd-001 客户端端口：2371 集群端口：2381

test-etcd-002 客户端端口：2372 集群端口：2382

test-etcd-003 客户端端口：2373 集群端口：2383

etcd001节点配置如下：

[program:etcd01]
directory=/opt/etcd/etcd-data01
command=/usr/local/bin/etcd
  -name test-etcd-001
  --data-dir /opt/etcd/etcd-data01
  -initial-advertise-peer-urls http://10.140.0.23:2381
  -listen-peer-urls http://10.140.0.23:2381
  -listen-client-urls http://10.140.0.23:2371,http://127.0.0.1:2371
  -advertise-client-urls http://10.140.0.23:2371
  -initial-cluster-token etcd-test
  -initial-cluster test-etcd-001=http://10.140.0.23:2381,test-etcd-002=http://10.140.0.23:2382,test-etcd-003=http://10.140.0.23:2383
  -initial-cluster-state new
  --auto-compaction-retention=2
  --quota-backend-bytes=4294967296
  --logger zap
  --log-outputs  stderr
autorestart=true
stdout_logfile=/opt/supervisor/log/etcd01.log
user=root
redirect_stderr=true

etcd002节点点配置如下：

[program:etcd02]
directory=/opt/etcd/etcd-data02
command=/usr/local/bin/etcd
  -name test-etcd-002
  --data-dir /opt/etcd/etcd-data02
  -initial-advertise-peer-urls http://10.140.0.23:2382
  -listen-peer-urls http://10.140.0.23:2382
  -listen-client-urls http://10.140.0.23:2372,http://127.0.0.1:2372
  -advertise-client-urls http://10.140.0.23:2372
  -initial-cluster-token etcd-test
  -initial-cluster test-etcd-001=http://10.140.0.23:2381,test-etcd-002=http://10.140.0.23:2382,test-etcd-003=http://10.140.0.23:2383
  -initial-cluster-state new
  --auto-compaction-retention=2
  --quota-backend-bytes=4294967296
  --logger zap
  --log-outputs  stderr
autorestart=true
stdout_logfile=/opt/supervisor/log/etcd02.log
user=root
redirect_stderr=true

etcd003节点点配置如下：

[program:etcd03]
directory=/opt/etcd/etcd-data03
command=/usr/local/bin/etcd
  -name test-etcd-003
  --data-dir /opt/etcd/etcd-data03
  -initial-advertise-peer-urls http://10.140.0.23:2383
  -listen-peer-urls http://10.140.0.23:2383
  -listen-client-urls http://10.140.0.23:2373,http://127.0.0.1:2373
  -advertise-client-urls http://10.140.0.23:2373
  -initial-cluster-token etcd-test
  -initial-cluster test-etcd-001=http://10.140.0.23:2381,test-etcd-002=http://10.140.0.23:2382,test-etcd-003=http://10.140.0.23:2383
  -initial-cluster-state new
  --auto-compaction-retention=2
  --quota-backend-bytes=4294967296
  --logger zap
  --log-outputs  stderr
autorestart=true
stdout_logfile=/opt/supervisor/log/etcd03.log
user=root
redirect_stderr=true

查看集群状态和成员

#查看集群成员列表
[root@tw-61-instance-149 conf.d]# etcdctl --endpoints=http://10.140.0.23:2381 member list
76d35032baa0cea1, started, test-etcd-002, http://10.140.0.23:2382, http://10.140.0.23:2372, false
da58cce32d8d50aa, started, test-etcd-003, http://10.140.0.23:2383, http://10.140.0.23:2373, false
dc59600a0d8a88e3, started, test-etcd-001, http://10.140.0.23:2381, http://10.140.0.23:2371, false
#查看集群的状态
[root@tw-61-instance-149 conf.d]# etcdctl --endpoints=http://10.140.0.23:2383,http://10.140.0.23:2382,http://10.140.0.23:2381 endpoint status -w table
+-------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|        ENDPOINT         |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+-------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| http://10.140.0.23:2383 | da58cce32d8d50aa |   3.5.0 |  1.4 MB |     false |      false |         3 |      19612 |              19612 |        |
| http://10.140.0.23:2382 | 76d35032baa0cea1 |   3.5.0 |  1.4 MB |      true |      false |         3 |      19612 |              19612 |        |
| http://10.140.0.23:2381 | dc59600a0d8a88e3 |   3.5.0 |  1.4 MB |     false |      false |         3 |      19612 |              19612 |        |
+-------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

通过脚本往etcd写入数据，方便后续进行检查

[root@tw-61-instance-149 conf.d]# cat /tmp/test.sh 
for ((i=1; i<=50000; i++))
do
    etcdctl --endpoints=http://127.0.0.1:2372 put $i hhhhhsdsdsds
done

2、加入新节点etcd004

需要逐个节点进行添加

先将节点加入到集群中

[root@tw-61-instance-149 conf.d]# etcdctl --endpoints=http://10.140.0.23:2371,http://10.140.0.23:2372,http://10.140.0.23:2373 member add test-etcd-004 --peer-urls=http://10.140.0.23:2384

Member 94ec697883c8588b added to cluster ef04ddcca5995ad7

ETCD_NAME="test-etcd-004"
ETCD_INITIAL_CLUSTER="test-etcd-002=http://10.140.0.23:2382,test-etcd-004=http://10.140.0.23:2384,test-etcd-003=http://10.140.0.23:2383,test-etcd-001=http://10.140.0.23:2381"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.140.0.23:2384"
ETCD_INITIAL_CLUSTER_STATE="existing"

查看集群成员信息，会发现节点etcd004没有启动

 [root@tw-61-instance-149 conf.d]# etcdctl --endpoints=http://10.140.0.23:2381 member list
 
76d35032baa0cea1, started, test-etcd-002, http://10.140.0.23:2382, http://10.140.0.23:2372, false
94ec697883c8588b, unstarted, , http://10.140.0.23:2384, , false
da58cce32d8d50aa, started, test-etcd-003, http://10.140.0.23:2383, http://10.140.0.23:2373, false
dc59600a0d8a88e3, started, test-etcd-001, http://10.140.0.23:2381, http://10.140.0.23:2371, false

通过supervisor启动etcd004节点，supervisor配置文件如下：

需要注意的是。使用标志启动新成员--initial-cluster-state existing

[program:etcd04]
directory=/opt/etcd/etcd-data04
command=/usr/local/bin/etcd
  -name test-etcd-004
  --data-dir /opt/etcd/etcd-data04
  -initial-advertise-peer-urls http://10.140.0.23:2384
  -listen-peer-urls http://10.140.0.23:2384
  -listen-client-urls http://10.140.0.23:2374,http://127.0.0.1:2374
  -advertise-client-urls http://10.140.0.23:2374
  -initial-cluster-token etcd-test
  -initial-cluster test-etcd-001=http://10.140.0.23:2381,test-etcd-002=http://10.140.0.23:2382,test-etcd-003=http://10.140.0.23:2383,test-etcd-004=http://10.140.0.23:2384
  -initial-cluster-state existing
  --auto-compaction-retention=2
  --quota-backend-bytes=4294967296
  --logger zap
  --log-outputs  stderr
autorestart=true
stdout_logfile=/opt/supervisor/log/etcd04.log
user=root
redirect_stderr=true

继续查看集群信息等元数据，核对新成员的key的数量和数据目录大小

[root@tw-61-instance-149 conf.d]# etcdctl --endpoints=http://10.140.0.23:2381 member list
76d35032baa0cea1, started, test-etcd-002, http://10.140.0.23:2382, http://10.140.0.23:2372, false
94ec697883c8588b, started, test-etcd-004, http://10.140.0.23:2384, http://10.140.0.23:2374, false
da58cce32d8d50aa, started, test-etcd-003, http://10.140.0.23:2383, http://10.140.0.23:2373, false
dc59600a0d8a88e3, started, test-etcd-001, http://10.140.0.23:2381, http://10.140.0.23:2371, false

[jms_ops_all@tw-61-instance-149 ~]# du -sh /opt/etcd/etcd-data04/
126M    /opt/etcd/etcd-data04/

3、加入新节点etcd005

将etcd005也加入到新集群中

[root@tw-61-instance-149 conf.d]# etcdctl --endpoints=http://10.140.0.23:2371,http://10.140.0.23:2372,http://10.140.0.23:2373 member add test-etcd-005 --peer-urls=http://10.140.0.23:2385

Member 6f59aefe31880220 added to cluster ef04ddcca5995ad7

ETCD_NAME="test-etcd-005"
ETCD_INITIAL_CLUSTER="test-etcd-005=http://10.140.0.23:2385,test-etcd-002=http://10.140.0.23:2382,test-etcd-004=http://10.140.0.23:2384,test-etcd-003=http://10.140.0.23:2383,test-etcd-001=http://10.140.0.23:2381"
ETCD_INITIAL_ADVERTISE_PEER_URLS="http://10.140.0.23:2385"
ETCD_INITIAL_CLUSTER_STATE="existing"

通过supervisor启动etcd005节点，supervisor配置文件如下：

需要注意的是。使用标志启动新成员--initial-cluster-state existing

[program:etcd05]
directory=/opt/etcd/etcd-data05
command=/usr/local/bin/etcd
  -name test-etcd-005
  --data-dir /opt/etcd/etcd-data05
  -initial-advertise-peer-urls http://10.140.0.23:2385
  -listen-peer-urls http://10.140.0.23:2385
  -listen-client-urls http://10.140.0.23:2375,http://127.0.0.1:2375
  -advertise-client-urls http://10.140.0.23:2375
  -initial-cluster-token etcd-test
  -initial-cluster test-etcd-001=http://10.140.0.23:2381,test-etcd-002=http://10.140.0.23:2382,test-etcd-003=http://10.140.0.23:2383,test-etcd-004=http://10.140.0.23:2384,test-etcd-005=http://10.140.0.23:2385
  -initial-cluster-state existing
  --auto-compaction-retention=2
  --quota-backend-bytes=4294967296
  --logger zap
  --log-outputs  stderr

继续查看集群信息等元数据，核对新成员的key的数量和数据目录大小

[root@tw-61-instance-149 conf.d]# etcdctl --endpoints=http://10.140.0.23:2381 member list
6f59aefe31880220, started, test-etcd-005, http://10.140.0.23:2385, http://10.140.0.23:2375, false
76d35032baa0cea1, started, test-etcd-002, http://10.140.0.23:2382, http://10.140.0.23:2372, false
94ec697883c8588b, started, test-etcd-004, http://10.140.0.23:2384, http://10.140.0.23:2374, false
da58cce32d8d50aa, started, test-etcd-003, http://10.140.0.23:2383, http://10.140.0.23:2373, false
dc59600a0d8a88e3, started, test-etcd-001, http://10.140.0.23:2381, http://10.140.0.23:2371, false

[jms_ops_all@tw-61-instance-149 ~]# du -sh /opt/etcd/etcd-data05/
125M    /opt/etcd/etcd-data05/

4、将所有的节点停止修改配置文件后重新启动

需要将-initial-cluster选项都修改成包含所有的节点

[program:etcd01]
directory=/opt/etcd/etcd-data01
command=/usr/local/bin/etcd
  -name test-etcd-001
  --data-dir /opt/etcd/etcd-data01
  -initial-advertise-peer-urls http://10.140.0.23:2381
  -listen-peer-urls http://10.140.0.23:2381
  -listen-client-urls http://10.140.0.23:2371,http://127.0.0.1:2371
  -advertise-client-urls http://10.140.0.23:2371
  -initial-cluster-token etcd-test
  -initial-cluster test-etcd-001=http://10.140.0.23:2381,test-etcd-002=http://10.140.0.23:2382,test-etcd-003=http://10.140.0.23:2383,test-etcd-004=http://10.140.0.23:2384,test-etcd-005=http://10.140.0.23:2385
  -initial-cluster-state new
  --auto-compaction-retention=2
  --quota-backend-bytes=4294967296
  --logger zap
  --log-outputs  stderr
autorestart=true
stdout_logfile=/opt/supervisor/log/etcd01.log
user=root
redirect_stderr=true

检查集群状态

[root@tw-61-instance-149 conf.d]# etcdctl --endpoints=http://10.140.0.23:2381 member list
6f59aefe31880220, started, test-etcd-005, http://10.140.0.23:2385, http://10.140.0.23:2375, false
76d35032baa0cea1, started, test-etcd-002, http://10.140.0.23:2382, http://10.140.0.23:2372, false
94ec697883c8588b, started, test-etcd-004, http://10.140.0.23:2384, http://10.140.0.23:2374, false
da58cce32d8d50aa, started, test-etcd-003, http://10.140.0.23:2383, http://10.140.0.23:2373, false
dc59600a0d8a88e3, started, test-etcd-001, http://10.140.0.23:2381, http://10.140.0.23:2371, false


[root@tw-61-instance-149 conf.d]# etcdctl --endpoints=http://10.140.0.23:2383,http://10.140.0.23:2382,http://10.140.0.23:2381,http://10.140.0.23:2384,http://10.140.0.23:2385 endpoint status -w table
+-------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
|        ENDPOINT         |        ID        | VERSION | DB SIZE | IS LEADER | IS LEARNER | RAFT TERM | RAFT INDEX | RAFT APPLIED INDEX | ERRORS |
+-------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+
| http://10.140.0.23:2383 | da58cce32d8d50aa |   3.5.0 |  1.4 MB |     false |      false |         3 |      19612 |              19612 |        |
| http://10.140.0.23:2382 | 76d35032baa0cea1 |   3.5.0 |  1.4 MB |      true |      false |         3 |      19612 |              19612 |        |
| http://10.140.0.23:2381 | dc59600a0d8a88e3 |   3.5.0 |  1.4 MB |     false |      false |         3 |      19612 |              19612 |        |
| http://10.140.0.23:2384 | 94ec697883c8588b |   3.5.0 |  1.4 MB |     false |      false |         3 |      19612 |              19612 |        |
| http://10.140.0.23:2385 | 6f59aefe31880220 |   3.5.0 |  1.4 MB |     false |      false |         3 |      19612 |              19612 |        |
+-------------------------+------------------+---------+---------+-----------+------------+-----------+------------+--------------------+--------+

注：官方建议，etcd集群的节点数不应该超过7个

*老工具人了*
关注
  • 11
    点赞
  • 踩
  • 2
    收藏
    觉得还不错? 一键收藏
  • 1
    评论
专栏目录
etcd动态扩容
ShouTouDeXingFu的博客
07-23 2851
etcd集群一般采用3台机器组建集群，作为集群高可用，集群所在的机房也要高可用，通常3台机器分布在两个机房，但假如遇到机房层面的故障，可能会导致etcd集群不能正常工作，基于以上原因，我们需要扩容为5台   目前etcd 可以支持在线动态扩容，无须重启etcd集群 加入新增加etcd4 etcd5节点 1、etcd4 和etcd5 基础环境初始化（参考之前的文章etcd搭建） 2、etc...
etcd集群节点扩容
a13568hki的博客
04-08 2942
1、etcd4 基础环境初始化（参考之前的文章etcd搭建） https://blog.csdn.net/a13568hki/article/details/123581346 2、etcd集群中新增etcd4 的hosts解析，如果是dns域名提前配置，保证4台机器的地址信息可以正常解析 环境 k8s-master1 10.0.19.127 etcd-1 k8s-node1 10.0.19.129 etcd-2 k8s-node2 10.0.19.130 etcd-3 k8s-no
etcd单节点扩容成3节点
柠是柠檬的檬的博客
08-18 1675
etcd单节点扩容成3节点
etcd mysql集群_Etcd单节点扩容为三节点集群
weixin_39704727的博客
02-01 248
Etcd单节点扩容为三节点集群参考文档http://www.cnblogs.com/breg/p/5728237.html开始环境是单节点，存储数据一段时间后发现需要集群高可用环境，幸亏etcd支持在线扩容1，修改单节点配置并重启etcd[root@k8s-master etcd]# cat /etc/etcd/etcd.confETCD_NAME=k8s1ETCD_DATA_DIR="/data...
Hadoop集群扩容操作手册
08-03
磁盘满了，扩容手册。
Greenplum初探-数据哈希分布与集群扩容
02-24
Greenplum（GP）是分布式数据库，因此，数据的分布是基础。GP提供了多种分布策略：哈希分布、随机分布和复制表。其中，最常用的就是哈希分布。本篇文章我将向大家介绍GP的哈希分布。首先，我们先回顾一下上篇文章...
3-集群常见错误.txt
10-06
3-集群常见错误.txt3-集群常见错误.txt3-集群常见错误.txt3-集群常见错误.txt
redis3分布式集群部署
08-18
redis3分布式集群部署。已搭建成功
etcd安全集群三节点扩容至四个节点
weixin_30550271的博客
01-29 372
规划：先安装三台组建集群，然后扩容一个安全节点进来 1、环境： 三台centos7.5 主机 192.168.0.91 192.168.0.92 192.168.0.93 都关闭防火墙 都关闭selinux 配置免密登录，参照：https://www.cnblogs.com/effortsing/p/10060748.html ...
云原生|kubernetes|找回丢失的etcd集群节点---etcd节点重新添加，扩容和重新初始化k8s的master节点
zsk_john的技术分享专用博客
11-02 1314
主要是IP修改和name修改，以及cluster_state 修改为existing可以对比上面的配置文件。在20服务器上执行添加member命令，这个非常重要！
ETCD集群的配置与扩容
foreverdingleo的博客
03-29 2395
目标：组建3台节点的etcd集群节点信息：node010.211.55.9node110.211.55.10node210.211.55.11一. 准备工作：1.关闭并停用防火墙    systemctl stop firewalld.service     systemctl disable firewalld.service2.永久关闭SELinux     vim /etc/selinux/...
Kubernetes的etcd多节点扩容实战技巧
weixin_33922672的博客
12-19 860
2019独角兽企业重金招聘Python工程师标准>>> ...
etcd节点扩容至两个节点
weixin_30737433的博客
01-20 506
本篇已经安装了单个etcd，然后进行扩容etcd节点至2个，安装单节点请参照：https://www.cnblogs.com/effortsing/p/10295261.html 实验架构 test1: 192.168.0.91 etcd test2: 192.168.0.92 etcd test3: 192.168.0.93 无 需...
etcd集群扩容与故障替换
abced1236的专栏
03-31 571
集群信息： isLeader 主机名 主机IP false k8s-master01 10.211.55.3 false k8s-master02 10.211.55.4 true k8s-master03 10.211.55.5 一、集群扩容 1.1 申请两台和etcd集群相同配置的机器或容器k8s-master04(10.211.55.6)和k8s-master05(10.211.55.7)用于部署新节点 1.2 etcdctl 3.x以后的版本和etcd集群交互有V2和V
kubeadm部署的k8s只有etcd单点，etcd实例扩容
red_sky_blue的专栏
03-10 1184
kubeadm安装默认只有一个etcd实例，存在单点故障的风险。提升Kubernetes集群可用性的方法包括： 1、备份（Kubernetes探秘—etcd状态数据及其备份）； 2、etcd节点和实例扩容； 3、apiserver的多节点服务和负载均衡。这里主要实验etcd节点和实例的扩容。 部署完后，发现etcd只有一个实例，想要扩成集群的方式 # kubectl get po -n kube-system ...
etcd集群增加节点
卢舍那
03-28 7646
etcd集群增加节点 主要两步： 添加节点 启动新节点 原本etcd集群 # etcdctl member list b7124c8d88451: name=myetcd1 peerURLs=http://192.168.9.100:2380 clientURLs=http://192.168.9.100:2379 isLeader=true 235dcf74ed6248d5: n...
k8S中的MySQL如何扩容_Kubernetes的etcd多节点扩容实战技巧
weixin_36342428的博客
02-01 677
在《Kubernetes探秘-多master节点容错部署》中介绍了通过部署多个主节点来提高Kubernetes的容错能力。其中，最为关键是存储集群控制数据的etcd服务必须在多个副节点间实时同步，而kube-apiserver通过keepalived进行IP主地址的切换。在《Kubernetes探秘-etcd节点和实例扩容》中已经详细介绍了etcd多节点扩容的步骤，但在实际操作中发现，必需要遵循一...
zookeeper集群扩容
最新发布
10-18
好的，关于zookeeper集群扩容，需要注意以下几点： 1. 在扩容之前，需要先备份原有的zookeeper数据和配置文件，以防止出现意外情况。 2. 扩容时需要添加新的zookeeper节点，并将其加入到原有的集群中。 3. 新节点的配置文件需要与原有节点保持一致，包括zookeeper的版本、数据目录、日志目录等。 4. 新节点加入集群后，需要等待一段时间，让其与原有节点进行同步，确保数据一致性。 5. 扩容完成后，需要对整个集群进行测试，确保新节点的加入不会影响整个集群的稳定性。

“相关推荐”对你有帮助么？

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值