kafka搭建

kafka集群搭建文档一.下载解压从官网下载Kafka，下载地址http://kafka.apache.org/downloads.html注意这里最好下载scala2.10版本的kafka，因为scala2.10版本的兼容性比较好和2.11版本差别太大通过命令 tar –zxvf kafka_2.10-0.9.0.1.tgz解压二．配置启动配置config/server.properties配置broker.id从0开始，后面其他节点配置1,2,3,4等等事先启动zookeeper集群，这里配置zookeeper集群的地址zookeeper.connect=master:2181,slave1:2181,slave2:2181将集群分发到其他机器，比如scp -r kafka_2.10-0.9.0.1 root@slave1:/opt/sxt/soft/scp -r kafka_2.10-0.9.0.1 root@slave2:/opt/sxt/soft/这里注意修改broker.id修改完配置以后在每个节点启动kafkabin/kafka-server-start.sh config/server.properties三．测试新建一个topic./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -topic test -replication-factor 2 -partitions 5 --create查看当前的topic./bin/kafka-topics.sh -zookeeper master:2181,slave1:2181,slave2:2181 -list在一个节点创建一个provider./bin/kafka-console-producer.sh --broker-list master:9092,slave1:9092,slave2:9092 --topic test在另外一个节点创建一个consumer./bin/kafka-console-consumer.sh --zookeeper master:2181,slave1:2181,slave2:2181 --from-beginning -topic test在provider输入信息，在consumer能接收到信息