前提:搭建zookeeper集群
一、解压
提取链接
提取码: vbvi
上传kafka安装到到一台机器解压并改名
tar -zxvf kafka_2.11-2.0.0.tgz
mv kafka_2.11-2.0.0 kafka
二、修改环境变量
三台机器修改环境变量
vi /etc/profile
export KAFKA_HOME=/opt/kafka
export PATH=$PATH:$KAFKA_HOME/bin/:$PATH
使修改生效
source /etc/profile
三、修改配置文件
在kafka安装目录中创建kafka-logs 存放分区信息 !=存放日志目录,日志目录log4J-properties
vi server.properties文件
- 修改 broker.id 每个kafka节点不同
- 更改分区信息目录
- 修改zk监听的节点
四、分发安装包
切换到安装包所在目录,分发安装kafka
scp -r /opt/kafka/ root@hadoop2:$PWD
scp -r /opt/kafka/ root@hadoop3:$PWD
修改其他节点的server.properties
broker.id唯一就可以
五、启动kafka集群
启动zookeeper集群
//三台机器启动
zkServer.sh start
启动kafka
//三台机器启动
kafka-server-start.sh -daemon /opt/kafka/config/server.properties
## 六、验证安装
//在其中一台机器创建一个topickafka-topics.sh --create --zookeeper hadoop1:2181 --partitions 1 --replication-factor 3 --topic test
hadoop1
hadoop2
hadoop3
//查看topic详情
kafka-topics.sh --describe --zookeeper hadoop1:2181 --topic test
说明:
分区0的有1,2,3三个副本,且三个副本都是可用副本,都在ISR同步队列中,2为Leader副本,集群搭建成功