kafka集群搭建

1、上传安装包
把安装包上传到服务器
put -r "D:\kafka_2.11-0.8.2.0.tgz"

2、解压缩安装包
tar -zxvf kafka_2.11-0.8.2.0.tgz -C ~/apps/

3、配置kafka环境变量
vim /etc/profile
export KAFKA_HOME=/root/apps/kafka_2.11-0.8.2.0
export PATH=$PATH:$KAFKA_HOME/bin
刷新策略
source /etc/profile

4、修改server.properties
cd /root/apps/kafka_2.11-0.8.2.0/config
vim server.properties
zookeeper.connect=192.168.123.101:2181,192.168.123.102:2181,192.168.123.103:2181,192.168.123.104:2181

5、将hadoop01节点上的kafka分发至hadoop02、hadoop03、hadoop04
scp -r kafka_2.11-0.8.2.0/ root@hadoop02:$PWD
scp -r kafka_2.11-0.8.2.0/ root@hadoop03:$PWD
scp -r kafka_2.11-0.8.2.0/ root@hadoop04:$PWD

6、依次修改hadoop02、hadoop03、hadoop04节点的broker id
cd /root/apps/kafka_2.11-0.8.2.0/config
vim server.properties
broker.id=1（hadoop02）
broker.id=2（hadoop03）
broker.id=3（hadoop04）

7、启动服务
启动zookeeper集群
zkServer.sh start

进入kafka目录
cd /root/apps/kafka_2.11-0.8.2.0
启动kafka集群
kafka-server-start.sh config/server.properties

8、创建topic
kafka-topics.sh --create --zookeeper localhost:2181 --replication-factor 4 --partitions 4 --topic test2
查看topic test2
kafka-topics.sh --describe --zookeeper localhost:2181 --topic test2

9、启动生产者，键入一些消息
kafka-console-producer.sh --broker-list localhost:9092 --topic test2
this is a cluster

10、启动消费者，此时可看到生产者键入的消息
kafka-console-consumer.sh --zookeeper localhost:2181 --topic test2 --from-beginning