Kafka集群操作

1. 创建topic

创建一个名字为test的主题， 有三个分区，有两个副本
node01执行以下命令来创建topic

[root@node01 ~]# cd /export/servers/kafka_2.11-1.0.0
[root@node01 kafka_2.11-1.0.0]# bin/kafka-topics.sh --create --zookeeper node01:2181 --replication-factor 2 --partitions 3 --topic test

2. 查看主题命令

查看kafka当中存在的主题
node01使用以下命令来查看kafka当中存在的topic主题

[root@node01 ~]# cd /export/servers/kafka_2.11-1.0.0
[root@node01 kafka_2.11-1.0.0]# bin/kafka-topics.sh  --list --zookeeper node01:2181,node02:2181,node03:2181

3. 生产者生产数据

模拟生产者来生产数据
node01服务器执行以下命令来模拟生产者进行生产数据

[root@node01 ~]# cd /export/servers/kafka_2.11-1.0.0
[root@node01 kafka_2.11-1.0.0]# bin/kafka-console-producer.sh --broker-list node01:9092,node02:9092,node03:9092 --topic test

4. 消费者消费数据

node02服务器执行以下命令来模拟消费者进行消费数据

[root@node02 ~]# cd /export/servers/kafka_2.11-1.0.0
[root@node02 kafka_2.11-1.0.0]# bin/kafka-console-consumer.sh --from-beginning --topic test  --zookeeper node01:2181,node02:2181,node03:2181

5. 运行describe topics命令

node01执行以下命令运行describe查看topic的相关信息

[root@node01 ~]# cd /export/servers/kafka_2.11-1.0.0
[root@node01 kafka_2.11-1.0.0]# bin/kafka-topics.sh --describe --zookeeper node01:2181 --topic test

6. 增加topic分区数

任意kafka服务器执行以下命令可以增加topic分区数

[root@node01 ~]# cd /export/servers/kafka_2.11-1.0.0
[root@node01 kafka_2.11-1.0.0]# bin/kafka-topics.sh --zookeeper zkhost:port --alter --topic topicName --partitions 8

7. 增加配置

动态修改kakfa的配置
任意kafka服务器执行以下命令可以增加topic分区数

[root@node01 ~]# cd /export/servers/kafka_2.11-1.0.0
[root@node01 kafka_2.11-1.0.0]# bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --config flush.messages=1

8. 删除配置

动态删除kafka集群配置

[root@node01 ~]# cd /export/servers/kafka_2.11-1.0.0
[root@node01 kafka_2.11-1.0.0]# bin/kafka-topics.sh --zookeeper node01:2181 --alter --topic test --delete-config flush.messages

9. 删除topic

目前删除topic在默认情况下知识打上一个删除的标记，在重新启动kafka后才删除。如果需要立即删除，则需要在
server.properties中配置：
delete.topic.enable=true
然后执行以下命令进行删除topic

[root@node01 ~]# cd /export/servers/kafka_2.11-1.0.0
[root@node01 kafka_2.11-1.0.0]# bin/kafka-topics.sh --zookeeper zkhost:port --delete --topic topicName