1、创建kafka topic
./kafka-topics.sh --zookeeper ip:2181 --create --topic topicName --partitions 3 --replication-factor 2
注: partitions指定topic分区数,replication-factor指定topic每个分区的副本数
partitions分区数:
- partitions :分区数,控制topic将分片成多少个log。可以显示指定,如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
- 虽然增加分区数可以提供kafka集群的吞吐量、但是过多的分区数或者或是单台服务器上的分区数过多,会增加不可用及延>迟的风险。因为多的分区数,意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
- 分区数也限制了consumer的并行度,即限制了并行consumer消息的线程数不能大于分区数
- 分区数也限制了producer发送消息是指定的分区。如创建topic时分区设置为1,producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错的;这种情况可以通过alter –partitions 来增加分区数。
replication-factor副本
- replication factor 控制消息保存在几个broker(服务器)上,一般情况下等于broker的个数。
- 如果没有在创建时显示指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量
2、查看所有的topic列表
./kafka-topics.sh --zookeeper ip:2181 --list
3、查看所有topic的详细信息
./kafka-topics.sh --zookeeper server01:2181 --describe
4、查看指定topic信息
./kafka-topics.sh --zookeeper ip:2181 --describe --topic topicName
5、查看指定groupId下面分区的OFFSET
sh kafka-consumer-groups.sh --describe --bootstrap-server 192.168.110.61:9092,192.168.110.61:9093,192.168.110.61:9094 --group groupId
6、控制台向topic生产数据
./kafka-console-producer.sh --broker-list ip:9092 --topic topicName
7、控制台消费topic的数据
./kafka-console-consumer.sh --zookeeper ip:2181 --topic topicName --from-beginning
8、增加topic分区数
./kafka-topics.sh --zookeeper ip:2181 --alter --topic topicName --partitions 3
注意:分区数量只能增加,不能减少
9、删除topic
./kafka-topics.sh --zookeeper ip:2181 --delete --topic topicName