kafka集群搭建

搭建kafka集群，首先得搭建ZooKeeper集群，请参见《ZooKeeper集群搭建》

机器部署角色情况如下：

192.168.215.90     broker、producer、consumer

192.168.215.110   broker、consumer

192.168.215.120   broker

一、在每个节点启动ZooKeeper服务

zkServer.sh start

zkServer.sh status检查ZooKeeper服务状态

二、在192.168.215.90机器上配置kafka

vi /usr/local/kafka_2.10-0.8.2.0/config/server.properties

修改如下配置

broker.id=90

port=9092

host.name=192.168.215.90

zookeeper.connect=192.168.215.90:2181,192.168.215.110:2181,192.168.215.120:2181

附注：红色标记参数必须唯一

三、通过远程拷贝命令，把90上kafka到110、120上

scp  -r  /usr/local/kafka_2.10-0.8.2.0  192.168.215.110:/usr/local/

scp  -r  /usr/local/kafka_2.10-0.8.2.0  192.168.215.120:/usr/local/

四、分别修改kafka配置，如第二步所示

五、在是三个节点分别启动kafka服务

启动命令（后台启动）  bin/kafka-server-start.sh config/server.properties >/dev/null 2>&1 &

六、在90节点上创建一个消息主题topic、一个生产者producer、一个消费者consumer

创建消息主题topic     bin/kafka-topics.sh --create --zookeeper 192.168.215.90:2181 --replication-factor 2 --partitions 4 --topic test

新开窗口，创建生产者producer     bin/kafka-console-producer.sh --broker-list 192.168.215.90:9092 --topic test

新开窗口，创建消费者consumer      bin/kafka-console-consumer.sh --zookeeper 192.168.215.90:2181 --topic  test  --from-beginning

七、在110节点上创建一个消费者consumer

创建消费者consumer      bin/kafka-console-consumer.sh --zookeeper 192.168.215.110:2181 --topic  test  --from-beginning

八、验证

在90节点生产者producer窗口，输入abcede

90节点、110节点的消费者consumer ，可以看到订阅的消息：abcede