凌云时刻 · 技术
导读:这一节我们来真正搭建一个Zookeeper集群。
作者 | 计缘
来源 | 凌云时刻(微信号:linuxpk)
搭建Zookeeper集群
首先要做的就是再租赁两个服务器,参照搭建单机Kafka章节中的步骤,租赁阿里云服务器、安装JDK、下载配置Kafka、配置安全组规则。
Zookeeper配置信息
在搭建单机Kafka章节中,启动的是单机Zookeeper,所以/root/kafka_2.12-2.0.0/config
目录下的zookeeper.properties
配置文件中只配置了dataDir
,也就是存储各种数据、日志、快照的路径。
在搭建Zookeeper时,就需要额外再配置一些参数了。同样打开/root/kafka_2.12-2.0.0/config
目录下的zookeeper.properties
配置文件,额外添加如下内容:
|
逐一解释一下这些配置信息:
maxClientCnxns
:该参数表示允许客户端最大连接数。如果设置为0则表示不做限制。
tickTime
:该参数表示Zookeeper服务之间进行心跳监测的间隔时间,单位是毫秒。设置为2000,表示每隔2秒,Zookeeper服务器之间会进行一次心跳监测。
initLimit
:该参数表示Zookeeper集群中的Follower在启动时需要在多少个心跳时间内从Leader同步数据。设置为10,表示要在10个心跳时间内,也就是在20秒内,要完成Leader数据的同步。
syncLimit
:该参数表示超过多少个心跳时间收不到Follower的响应,Leader就认为此Follower已经下线。设置为5,表示在5个心跳时间内,也就是判断Follower是否存活的响应时间是10秒。
Zookeeper集群节点列表
首先节点列表的配置规则为server.N=IP:Port1:Port2
:
N
表示Zookeeper节点编号。
IP
表示Zookeeper节点的服务器IP,既阿里云ECS的外网IP。
Port1
表示该Zookeeper集群中的Follower节点与Leader节点通讯时使用的端口。作为Leader时监听该端口。
Port2
表示选举新的Leader时,Zookeeper节点之间互相通信的端口,比如当Leader挂掉时,其余服务器会互相通信,选出新的Leader。Leader和Follower都会监听该端口。
这里的节点编号是数字类型,需要我们在/root/kafka_2.12-2.0.0/data/zookeeper
目录下创建名为myid
的文件,然后将编号配置在里面。server.N
这里的N
要和myid
文件中配置的编号保持一致。
另外还需要注意的是,如果要在一台服务器上搭建伪集群,那么每个Port1
和每个Port2
要不一样才可以,因为IP
都是一样的。这里我们是分别用三台不同的阿里云ECS,所以IP
肯定是不一样的,而每个Port1
是一致的,每个Port2
也是一致的。
为了方便起见,我们可以在服务器的/etc/hosts
文件中设置一下域名映射,比如:
|
这样在配置Zook
|
这样在配置Zookeeper集群节点列表时就可以写成如下形式了:eeper集群节点列表时就可以写成如下形式了:
|
阿里云ECS服务监听所有网卡
如果现在通过/root/kafka_2.12-2.0.0/bin/zookeeper-server-start.sh config/zookeeper.properties
启动Zookeeper,肯定会报一大堆错误,比如:
|
这是因为阿里云ECS都是采用虚拟化技术创建的服务器实例,而虚拟机中并没有物理网卡,所以Zookeeper服务启动后,进程并没有监听到3888
端口,而是会随机生成一个端口进行监听。所以会报上面的错。解决的办法就是让Zookeeper服务进程监听0.0.0.0
的IP地址,也就是监听所有网卡。那么就需要在zookeeper.properties
配置文件加入quorumListenOnAllIPs=true
配置信息,来保证Zookeeper服务进程能监听到我们设定的3888
端口。
Zookeeper集群配置总结
在启动Zookeeper集群前,先来总结一下配置工作:
租赁三台阿里云ECS,下载JDK、Kafka、配置安全组规则。
在
/root/kafka_2.12-2.0.0/data/zookeeper
目录下创建名为myid
的文件,配置Zookeeper节点编号。
在服务器的
/etc/hosts
文件中设置一下域名映射:[阿里云ECS-1 IP] zookeeper.server.1 [阿里云ECS-2 IP] zookeeper.server.2 [阿里云ECS-3 IP] zookeeper.server.3
在
/root/kafka_2.12-2.0.0/config/zookeeper.properties
配置文件中添加如下配置(server.N
中的N
要和myid
中配置的节点编号保持一致):maxClientCnxns=0 tickTime=2000 initLimit=10 syncLimit=5 quorumListenOnAllIPs=true server.1=zookeeper.server.1:2888:3888 server.2=zookeeper.server.2:2888:3888 server.3=zookeeper.server.3:2888:3888
在三台阿里云ECS中都完成上述工作后,就可以逐一启动Zookeeper了,命令如下:
|
检验Zookeeper集群
三个Zookeeper节点都启动后,我们可以通过下面两个方法对Zookeeper集群进行基础的验证。
查看端口监听状态
我们可以使用nc
命令看看端口都有没有被成功监听,选择任意一台服务器,通过下面的命令查看:
|
从上面的信息中可以看出,三个Zookeeper都成功启动了,并且可以知道zookeeper.server.1
和zookeeper.server.2
是Follower,zookeeper.server.3
是Leader,因为前两个节点并没有监听2888
端口。
通过Zookeeper CLI验证
我们还可以通过Zookeeper Client连接到集群来检验。我们选择任意一台服务器,首先连接zookeeper.server.1
节点:
|
连接成功后,我们创建一个zNode:
|
查看zookeeper.server.1
节点中所有的zNode:
|
我们看到了刚才创建的my_zNode
。然后退出连接,再连接zookeeper.server.2
节点:
|
然后查看zookeeper.server.2
节点中的所有zNode:
|
我们同样发现了my_zNode
。查看my_zNode
中的数据:
|
看到是在zookeeper.server.1
节点中创建时添加的some data
数据。
同样我们再连接zookeeper.server.3
节点查看zNode情况:
|
我们在zookeeper.server.3
节点中修改my_zNode
中的数据:
|
然后再连接zookeeper.server.1
节点查看my_zNode
的数据:
|
看到zookeeper.server.1
节点中my_zNode
的数据也变成了new data
。
上面的过程虽然比较繁琐,但是充分说明了我们的Zookeeper集群是搭建成功的。无论从哪个Zookeeper节点创建的zNode,都可以同步到集群中的其他节点。无论从哪个Zookeeper节点修改的zNode中的数据,也可以同步到起群中的其他节点。
Zookeeper The Four Letter Words Commands
Zookeeper提供了一些能够查看节点Server状态、Client连接Server的状态、节点健康状态的命令。因为命令大多都是四个字母的简写,所以称为The Four Letter Words Commands,我称为四字真言。
首先来看看整体的命令格式:
|
xxxx
就是四字真言命令。
IP
是Zookeeper节点的IP。
Port
自然是Zookeeper监听的2181端口。
下面来具体看看这些命令。
查看Zookeeper节点配置
该命令可以查看指定节点的配置信息:
|
这个命令可以很方便的查看Zookeeper节点zookeeper.properties
中的配置信息,以及默认的配置信息。
查看连接到Zookeeper节点的Client信息
该命令可以查看连接到指定Zookeeper节点的Client信息:
|
查看Session及临时节点信息
该命令可以查看指定Zookeeper节点建立Session的信息以及临时节点的信息:
|
该命令只有指定了Leader节点才有效。
查看Zookeeper节点的环境变量
该命令可以查看指定Zookeeper节点的环境变量信息:
|
监测Zookeeper节点可用状态
该命令可以查看指定Zookeeper节点是否正常:
|
如果节点正常则返回imok
,如果不正常则没有任何响应。
查看Zookeeper节点的信息
该命令可以查看指定Zookeeper节点的信息:
|
查看Zookeeper节点的信息以及连接Client信息
该命令可以查看指定Zookeeper节点的信息,以及连接该节点的Client信息:
|
查看Zookeeper节点的监控状态信息
该命令可以查看指定Zookeeper节点的监控状态信息:
|
我们可以使用以上这些命令方便的查看Zookeeper节点以及Client的各种信息,提高效率。
小结
这一章节带大家实践搭建了真正的Zookeeper集群,为之后搭建Kafka集群打基础,同时还复习了Zookeeper CLI的使用方式以及很重要的Zookeeper四字真言。希望能给小伙伴们带来帮助。
END
往期精彩文章回顾
Kafka从上手到实践-Zookeeper CLI:CRUD zNode
Kafka从上手到实践 - 初步认知:Zookeeper
Kafka从上手到实践:Kafka Java Consumer
Kafka从上手到实践:Kafka Java Producer
Kafka CLI:Reseting Offset & Config CLI
Kafka CLI:Consumer CLI & Producer CLI
Kafka CLI:Topic CLI & Producer CLI
Kafka从上手到实践 - 庖丁解牛:Topic & Broker
长按扫描二维码关注凌云时刻
每日收获前沿技术与科技洞见