Kafka2.4.1集群安装配置

一、kafka安装

1. 使用Xshell工具上传kafka_2.11-2.4.1.tgz到/opt/software目录下。

2.在/opt/software目录下使用tar命令解压kafka_2.11-2.4.1.tgz到/opt/module目录下：

tar -zxvf kafka_2.11-2.4.1.tgz -C /opt/module/

3.在/opt/module目录下修改文件夹名称： 

mv kafka_2.11-2.4.1/ kafka

4.打开环境变量：

vim /etc/profile

在底部添加如下配置：

#kafka
export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

5.将profile文件重新运行：

source /etc/profile

6.启动kafaka-zookeeper：

zookeeper-server-start.sh -daemon /opt/module/kafka/config/zookeeper.properties

7.启动kafak服务：

kafka-server-start.sh -daemon /opt/module/kafka/config/server.properties

8.查看jps进程：

 kafka安装成功！

二、配置集群

1.配置server.properties文件：

vim /opt/module/kafka/config/server.properties

 修改以下配置：

broker.id=0
log.dirs=/opt/module/kafka/data/kafka-logs
zookeeper.connect=bigdata01:2181,bigdata02:2181,bigdata03:2181/kafka

2.同步到其他两个节点：

scp -r /opt/module/kafka @bigdata02:/opt/module

scp -r /opt/module/kafka @bigdata03:/opt/module

scp /etc/profile @bigdata02:/etc

scp /etc/profile @bigdata03:/etc

3.分别修改两个节点上的broker的id：

vim /opt/module/kafka/config/server.properties

bigdata02上修改为1

broker.id=1

bigdata03上修改为2

broker.id=2

4.创建数据目录：

mkdir -p /opt/module/kafka/data/kafka-logs

5.重新加载环境变量：

source /etc/profile

 6.三个节点启动kafka：

kafka-server-start.sh -daemon ../config/server.properties

 7.查看jps进程：

 kafka集群配置成功！

 注：启动顺序一定是先zookeeper再kafka