Kafka搭建部署

解压文件

启动zookeeper

配置kafka环境变量

查看Kafka的版本内容

分发Kafka文件到slave1、slave2

修改server.properties文件 

在Master、slave1和slave2节点上分别启动Kafka

在Master节点上执行如下命令来创建Topic并查看

解压文件

tar -zxvf kafka_2.12-2.4.1.tgz -C /opt/module

mv kafka_2.12-2.4.1 kafka

启动zookeeper

        提前安装好在每个节点启动

zkServer.sh start

配置kafka环境变量

vim /etc/profile

export KAFKA_HOME=/opt/module/kafka
export PATH=$PATH:$KAFKA_HOME/bin

source /etc/profile

查看Kafka的版本内容

kafka-server-start.sh --version

 

分发Kafka文件到slave1、slave2

        分发kafka

scp -r /opt/module/kafka slave1:/opt/module

scp -r /opt/module/kafka slave2:/opt/module

修改server.properties文件 

        修改kafka/config/server.properties

每个节点下的id都是唯一的id为0、1、2三台分别设置

//master
broker.id=0
listeners=PLAINTEXT://master:9092

//slave1
broker.id=1
listeners=PLAINTEXT://slave1:9092

//slave2
broker.id=2
listeners=PLAINTEXT://slave2:9092

在Master、slave1和slave2节点上分别启动Kafka

kafka-server-start.sh -daemon /opt/kafka/config/server.properties

在Master节点上执行如下命令来创建Topic并查看

kafka-topics.sh --create --zookeeper master:2181 --replication-factor 2 --partitions 2 --topic installtopic

kafka-topics.sh --list --bootstrap-server master:9092