kafka集群配置

kafka集群配置

本文B站视频教程： https://www.bilibili.com/video/BV1US4y1f78X?p=10

关注微信，学习更多...

zookeeper集群环境搭建

修改配置文件，添加集群ip

server.1=192.168.18.128:2888:3888
server.2=192.168.18.138:2888:3888
server.3=192.168.18.148:2888:3888

server.A=B:C:D

A：其中 A 是一个数字，表示这个是服务器的编号；

B：是这个服务器的 ip 地址；

C：Zookeeper服务器之间的通信端口；

D：Leader选举的端口。

修改log data 路径

dataDir=/var/zkdata

创建myid

在dataDir目录下面创建myid文件，内容为对应的服务器id 例如 1 2 3

echo 1 > /var/zkdata/myid

查看集群状态

如果一个为leader，另外两个为follower就对了

有时候需要重启服务器 reboot

启动命令：

zkServer.sh start

查看集群节点状态：

zkServer.sh status

查看当前服务器是leader 还是follower

配置kafka集群

修改server.properties配置文件

1. 修改broker.id ，每台服务器都不一样，最好跟zookeeper myid相同。

2. 修改log.dirs路径。

3. 修改zookeeper集群路径

   zookeeper.connect=192.168.18.128:2181,192.168.18.138:2181,192.168.18.148:2181

如果zookeeper和kafka都启动过，删除他们的旧的日志，否则会报如下错误

ERROR Fatal error during KafkaServer startup. Prepare to shutdown (kafka.server.KafkaServer) kafka.common.InconsistentClusterIdException: The Cluster ID Reu8ClK3TTywPiNLIQIm1w doesn't match stored clusterId Some(BaPSk1bCSsKFxQQ4717R6Q) in meta.properties. The broker is trying to join the wrong cluster. Configured zookeeper.connect may be wrong. at kafka.server.KafkaServer.startup(KafkaServer.scala:220) at kafka.server.KafkaServerStartable.startup(KafkaServerStartable.scala:44) at kafka.Kafka$.main(Kafka.scala:84) at kafka.Kafka.main(Kafka.scala)

本文B站视频教程： https://www.bilibili.com/video/BV1US4y1f78X?p=10

关注微信，学习更多...