zookeeper动态扩缩容（无需重启）_zk动态扩容，请谈下大数据开发消息机制

最新推荐文章于 2024-04-14 02:17:21 发布

2401_84166794

最新推荐文章于 2024-04-14 02:17:21 发布

阅读量302

点赞数 5

分类专栏：程序员文章标签： zookeeper 大数据 linux

本文链接：https://blog.csdn.net/2401_84166794/article/details/137717067

版权

程序员专栏收录该内容

30 篇文章 0 订阅

订阅专栏

[zk: localhost:2181(CONNECTED) 5] help
ZooKeeper -server host:port -client-configuration properties-file cmd args
	addWatch [-m mode] path # optional mode is one of [PERSISTENT, PERSISTENT_RECURSIVE] - default is PERSISTENT_RECURSIVE
	addauth scheme auth
	close 
    # 查看配置
	config [-c] [-w] [-s]
	connect host:port
	create [-s] [-e] [-c] [-t ttl] path [data] [acl]
	delete [-v version] path
	deleteall path [-b batch size]
	delquota [-n|-b|-N|-B] path
	get [-s] [-w] path
	getAcl [-s] path
	getAllChildrenNumber path
	getEphemerals path
	history 
	listquota path
	ls [-s] [-w] [-R] path
	printwatches on|off
	quit 
    # 动态配置
	reconfig [-s] [-v version] [[-file path] | [-members serverID=host:port1:port2;port3[,...]*]] | [-add serverId=host:port1:port2;port3[,...]]* [-remove serverId[,...]*]
	redo cmdno
	removewatches path [-c|-d|-a] [-l]
	set [-s] [-v version] path data
	setAcl [-s] [-v version] [-R] path acl
	setquota -n|-b|-N|-B val path
	stat [-w] path
	sync path
	version 
	whoami

在实际验证中发现一些细节问题，先记录如下：

1、如果整个zk集群只有一个zk节点（即serverId只有它本身），这时默认运行的是单机模式，如果需要运行在集群模式下，需要加入standaloneEnabled=false的配置。

2、使用zkCli客户端提供的reconfig命令，需要修改/zookeper/config节点，普通账号对该节点上的数据只有ACL中的查看权限，有如下两种方法可以解决：

①关闭ACL，配置文件加入 skipACL=yes

②生成超级管理员账号：

Linux可直接执行如下命名：

echo -n cjian:111111 | openssl dgst -binary -sha1 | openssl base64

cjian:111111 为用户名和密码，启动脚本增加如下配置

-Dzookeeper.DigestAuthenticationProvider.superDigest=cjian:ST25maIOy8WImjpR7Nf2/D2wFXQ=

使用zkCli连接上后，执行addauth digest cjian:111111

之后就可以修改/zookeper/config节点的数据了，即可执行reconfig命令

3、要使用reconfig命令需要配置reconfigEnabled=true

实操一下：

下载zookeeper不做赘述~

一、启动一个zk

配置第一个zk（myid为0）,配置如下：

initLimit=10
syncLimit=5
skipACL=yes
# 加上这个配置 可通过 echo stat|nc ip:port 命令查看实例角色
4lw.commands.whitelist=*
clientPort=2181
tickTime=2000
dataDir=/home/zookeeper/zookeeper1/data
dataLogDir=/home/zookeeper/zookeeper1/log
# 关闭 单机模式
standaloneEnabled=false
# 支持reconfig
reconfigEnabled=true
admin.enableServer=false
server.0=127.0.0.1:2888:3888

启动后，执行

[root@localhost zookeeper1]# echo stat|nc 127.0.0.1 2181
Zookeeper version: 3.8.1-74db005175a4ec545697012f9069cb9dcc8cdda7, built on 2023-01-25 16:31 UTC
Clients:
 /127.0.0.1:42266[1](queued=0,recved=224,sent=224)
 /127.0.0.1:42288[0](queued=0,recved=1,sent=0)

Latency min/avg/max: 0/1.4933/42
Received: 226
Sent: 225
Connections: 2
Outstanding: 0
Zxid: 0x90000000a
Mode: leader
Node count: 6
Proposal sizes last/min/max: 239/36/239

发现zk 0 的角色为leader，符合预期

二、扩容一个zk

拷贝一份，myid修改为1，配置文件修改如下：

initLimit=10
syncLimit=5
skipACL=yes
# 加上这个配置 可通过 echo stat|nc ip:port 命令查看实例角色
4lw.commands.whitelist=*
clientPort=2182
tickTime=2000
dataDir=/home/zookeeper/zookeeper2/data
dataLogDir=/home/zookeeper/zookeeper2/log
# 关闭 单机模式
standaloneEnabled=false
# 支持reconfig
reconfigEnabled=true
admin.enableServer=false

server.0=127.0.0.1:2888:3888
server.1=127.0.0.1:2889:3889

注意： 这里扩容的实例的配置需要加上目标集群leader的server.id配置，如果只配置server.1=127.0.0.1:2889:3889，启动后，它是个leader，这时我们在2181的客户端连接上执行reconfig -add XXX命令时，会提示：

[zk: localhost:2181(CONNECTED) 0] reconfig -add server.1=127.0.0.1:2889:3889:participant;2182
No quorum of new config is connected and up-to-date with the leader of last commmitted config - try invoking reconfiguration after new servers are connected and synced

正常配置并启动完成后，在2181的客户端连接上执行add命令：

（这里连上2182的客户端执行也是一样的，该请求zk内部会转发给leader）

[zk: localhost:2181(CONNECTED) 3] reconfig -add server.1=127.0.0.1:2889:3889:participant;2182
Committed new configuration:
server.0=127.0.0.1:2888:3888:participant
server.1=127.0.0.1:2889:3889:participant;0.0.0.0:2182
# 这是一个新的配置文件版本号标识，会生成zoo.cfg.dynamic.version=900000005文件
version=900000005

[root@localhost zookeeper1]# cat conf/zoo.cfg.dynamic.900000005
server.0=127.0.0.1:2888:3888:participant
server.1=127.0.0.1:2889:3889:participant;0.0.0.0:2182

[root@localhost zookeeper2]# ./bin/zkServer.sh status
ZooKeeper JMX enabled by default
Using config: /home/zookeeper/zookeeper2/bin/../conf/zoo.cfg
Client port not found in static config file. Looking in dynamic config file.
Client port found: 2182. Client address: 0.0.0.0. Client SSL: false.


**自我介绍一下，小编13年上海交大毕业，曾经在小公司待过，也去过华为、OPPO等大厂，18年进入阿里一直到现在。**

**深知大多数大数据工程师，想要提升技能，往往是自己摸索成长或者是报班学习，但对于培训机构动则几千的学费，着实压力不小。自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！**

**因此收集整理了一份《2024年大数据全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。**
![img](https://img-blog.csdnimg.cn/img_convert/0bdbade8e97257e348ef7d1c0e0cd4b2.png)
![img](https://img-blog.csdnimg.cn/img_convert/2483cdc58ec24dda5560d4a430c9fb57.png)
![img](https://img-blog.csdnimg.cn/img_convert/7b3c2d2640edb90eb7dc3dd939c731e1.png)
![img](https://img-blog.csdnimg.cn/img_convert/a341f7e97505f763d944fd4c223f58b6.png)
![img](https://img-blog.csdnimg.cn/img_convert/9359df17bd697ada0af0799c27ed96dd.png)

**既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，基本涵盖了95%以上大数据开发知识点，真正体系化！**

**由于文件比较大，这里只是将部分目录大纲截图出来，每个节点里面都包含大厂面经、学习笔记、源码讲义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
![img](https://img-blog.csdnimg.cn/img_convert/c9355a589763a337ae2685a4265c2379.png)

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

义、实战项目、讲解视频，并且后续会持续更新**

**如果你觉得这些内容对你有帮助，可以添加VX：vip204888 （备注大数据获取）**
[外链图片转存中...(img-9OdsQKcQ-1712994135871)]

**一个人可以走的很快，但一群人才能走的更远。不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎扫码加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！**

2401_84166794

关注

5
点赞
踩
3

收藏

觉得还不错? 一键收藏
0
评论
zookeeper动态扩缩容（无需重启）_zk动态扩容，请谈下大数据开发消息机制

在实际验证中发现一些细节问题，先记录如下：1、如果整个zk集群只有一个zk节点（即serverId只有它本身），这时默认运行的是单机模式，如果需要运行在集群模式下，需要加入的配置。cjian:111111 为用户名和密码，启动脚本增加如下配置使用zkCli连接上后，执行addauth digest cjian:111111之后就可以修改/zookeper/config节点的数据了，即可执行reconfig命令3、要使用reconfig命令需要配置实操一下：下载zookeeper不做赘述~
复制链接

扫一扫