一.解压
tar -zxvf kafka_2.10-0.10.2.1.tgz
二.修改配置文件server.properties
log.dirs=/data/qc_collect/kafka/log
zookeeper.connect=localhost:2181
三.后台启动
./kafka-server-start.sh -daemon ../config/server.properties
集群安装
一:配置文件修改
broker.id=0 每台不同
advertised.host.name=ip
advertised.port=9092
log.dirs=/home/kafka/kafka_2.11-2.0.0/log
zookeeper.connect=10.10.10.220:2181,10.10.10.218:2181,10.10.10.221:2181
二:每台改成自己的ip端口即可
三:kafka集群一个节点损坏,无法切换到其它节点,一定要记得配置
#意思是副本数量为3,这样当一台消费者宕机时,其他消费者也可以进行消费
#kafka的内部topic consumer_offsets副本数。当该副本所在的broker宕机,consumer_offsets只有一份副本,该分区 宕机。使用该分区存储消费分组offset位置的消费者均会收到影响,offset无法提交,从而导致生产者可以发送消息但消费者不可用。所以需要设置该字段的值大于1
offsets.topic.replication.factor=3
四.常用命令
1.查看topic列表:./kafka-topics --zookeeper 127.0.0.1:2181 --list
2.查看单个topic详细信息:./kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic topic
3.创建topic(指定分区和副本):./kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --topic first --partitions 1 --replication-factor 3
4.动态修改分区:./kafka-topics.sh --zookeeper 127.0.0.1:2181 -alter --partitions 3 --topic canaltopic
5.删除:kafka-topics --delete --zookeeper localhost:2181 --topic canaltopic
6.后台启动:./kafka-server-start.sh -daemon ../config/server.properties