kafka集群搭建

Kafka集群配置

kafka集群基于zookeeper 配置kafka时要保证zookeeper配置完毕并且能顺利启动

解压安装包

[root@master software]# tar -zxvf kafka_2.11-1.0.1.tgz -C /usr/local/src
[root@master software]# cd /usr/local/src
//更名
[root@master src]# mv kafka_2.11-1.0.1/ kafka

配置环境变量

[root@master src]# vim /etc/profile
[root@master src]# source /etc/profile

###kafka
export KAFKA_HOME=/usr/local/src/kafka
export PATH=$PATH:$KAFKA_HOME/bin

分发环境变量

[root@master src]# scp /etc/profile slave1:/etc/profile
[root@master src]# scp /etc/profile slave2:/etc/profile

修改配置文件

[root@master src]# cd /usr/local/src/kafka/config
[root@master config]# vim server.properties
broker.id=1     //broker.id不能重复
delete.topic.enable=true     //需要自己添加上
log.dirs=/usr/local/src/kafka/logs
zookeeper.connect=master:2181,slave1:2181,slave2:2181

分发目录

[root@master config]# scp -r /usr/local/src/kafka slave1:/usr/local/src
[root@master config]# scp -r /usr/local/src/kafka slave2:/usr/local/src

修改slave1,slave2的broker.id

启动集群

[root@master config]# kafka-server-start.sh -daemon server.properties
[root@slave1 config]# kafka-server-start.sh -daemon server.properties
[root@slave2 config]# kafka-server-start.sh -daemon server.properties
[root@master config]# jps
[root@slave1 config]# jps
[root@slave2 config]# jps