kafka 集群部署

        集群部署之前需要先单点部署，如未部署请移步 kafka 二进制单点部署-CSDN博客

1. kafka软件包同步到其他节点

        将kafka的整个软件包同步到集群内的所有节点

        可以使用 ansible、shell脚本、scp、rsync等方法进行同步，我这里使用shell脚本

#将kafka软件包同步到集群内所有节点
sh data_rsync.sh /app/tools/kafka_2.13-3.5.1/
#将环境变量文件脚本同步到集群内所有节点
sh data_rsync.sh /etc/profile.d/kafka.sh 

2. 修改配置文件

#修改kafka集群其他节点配置文件中 broker.id  字段
 for ((host_id=91;host_id<=93;host_id++)) 
do 
    ssh elk${host_id} "sed -ri 's#(broker.id=)91#\1${host_id}#' /app/tools/kafka_2.13-3.5.1/config/server.properties"
done

3. 查看所有节点配置文件是否修改成功

#查看各个节点是否修改成功
grep ^broker.id /app/tools/kafka_2.13-3.5.1/config/server.properties

4. 启动kafka

#所有节点加载一下环境变量并启动kafka

source /etc/profile.d/kafka.sh

kafka-server-start.sh -daemon $KAFKA_HOME/config/server.properties 

5. 检查是否成功

        使用 zkweb 管理 zookeeper ，查看启动是否有 kafka 集群节点，如果有则成功。