Kafka集群的安装部署【详细教程】

一、前期工作准备

1.组网、关闭防火墙(下面的博客里面有详细讲解)

Hadoop完全分布式集群的搭建【详细教程】-CSDN博客

2.zookeeper集群成功部署(部署教程下面博客里面有详细讲解)

Zookeeper集群的安装部署【详细教程】-CSDN博客

二、Kafka集群安装部署

1.上传解压Kafka安装包(先在node1节点上进行，配置完成直接分发到另外的两个节点)

#解压命令
tar -zxvf kafka安装包

2.配置Kafka环境变量

#用户环境变量
vim ~/.bash_profile

注：配置完成后记得source ~/.bash_profile文件让其生效！

3.配置server.properties文件(该文件在Kafka目录下的config目录下)

#命令
vim server.properties

4.分发环境变量和配置好的Kafka文件夹到另外的两个节点

#环境变量
scp -r ~/.bash_profile hd@node2/3:~/

#Kafka文件夹
scp -r ~/software/kafka hd@node2/3:~/software

5.修改另外两个节点server.properties下的broker.id为1和2，其他的配置保持不变

6.启动Kafka集群(分别再三个节点单独启动)

注：先启动zookeeper集群，再启动Kafka集群，否作会报错！

#Kafka集群启动命令
bin/kafka-server-start.sh -daemon config/server.properties

7.关闭Kafka集群

#Kafka集群关闭命令
bin/kafka-server-stop.sh