kafka集群安装

一.解压

   tar -zxvf kafka_2.10-0.10.2.1.tgz

二.修改配置文件server.properties

 log.dirs=/data/qc_collect/kafka/log

 zookeeper.connect=localhost:2181

三.后台启动

  ./kafka-server-start.sh -daemon ../config/server.properties

集群安装
一：配置文件修改

   broker.id=0  每台不同

   advertised.host.name=ip

   advertised.port=9092                        

   log.dirs=/home/kafka/kafka_2.11-2.0.0/log

   zookeeper.connect=10.10.10.220:2181,10.10.10.218:2181,10.10.10.221:2181

二：每台改成自己的ip端口即可

三：kafka集群一个节点损坏，无法切换到其它节点，一定要记得配置

   #意思是副本数量为3,这样当一台消费者宕机时，其他消费者也可以进行消费
   #kafka的内部topic consumer_offsets副本数。当该副本所在的broker宕机，consumer_offsets只有一份副本，该分区		   宕机。使用该分区存储消费分组offset位置的消费者均会收到影响，offset无法提交，从而导致生产者可以发送消息但消费者不可用。所以需要设置该字段的值大于1
   offsets.topic.replication.factor=3

四.常用命令

 1.查看topic列表：./kafka-topics --zookeeper 127.0.0.1:2181  --list
 2.查看单个topic详细信息：./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic topic
 3.创建topic(指定分区和副本)：./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --topic first --partitions 1 --replication-factor 3 
 4.动态修改分区：./kafka-topics.sh --zookeeper 127.0.0.1:2181 -alter --partitions 3 --topic canaltopic
 5.删除：kafka-topics  --delete --zookeeper localhost:2181  --topic canaltopic
 6.后台启动：./kafka-server-start.sh -daemon ../config/server.properties