Kafka学习笔记：Kafka命令行工具

Kafka命令行工具

启动Kafka

kafka-server-start.sh /opt/software/kafka_2.11-1.1.0/config/server.properties &

查看所有Topic列表

kafka-topics.sh --zookeeper Hadoop01:2181 --list

查看指定Topic信息

kafka-topics.sh --describe --zookeeper Hadoop01:2181 --topic Demo1

查看Topic某分区偏移量最大（小）值

kafka-run-class.sh kafka.tools.GetOffsetShell --topic singleServer --time -1 --broker-list Hadoop01:9092 --partitions 0
注意： time为-1时表示最大值，time为-2时表示最小值

创建Topic

kafka-topics.sh --create --zookeeper Hadoop01:2181 --replication-factor 1 --partitions 1 --topic Demo1

• partitions：分区数，可以显式指定，如果不指定则会使用broker(server.properties)中的num.partitions配置的数量
  虽然增加分区数可以提供kafka集群的吞吐量，但是过多的分区数或者是单台服务器上的分区数过多，会增加不可用及延迟的风险。因为过多的分区数，意味着需要打开更多的文件句柄、增加点到点的延时、增加客户端的内存消耗。
  分区数也限制了consumer的并行度，即限制了并行consumer消息的线程数不能大于分区数
  分区数也限制了producer发送消息是指定的分区，如创建topic时分区设置为1，producer发送消息时通过自定义的分区方法指定分区为2或以上的数都会出错；这种情况可以通过alter --partitions来增加分区数
• replication-factor：副本数，控制消息保存在几个broker上，一般情况下等于broker的个数。
  如果没有在创建时显式指定或通过API向一个不存在的topic生产消息时会使用broker(server.properties)中的default.replication.factor配置的数量
   

通过Console生产数据到指定的Topic

kafka-console-producer.sh --broker-list Hadoop01:9092 --topic Demo1

Console消费指定Topic上的数据

kafka-console-consumer.sh --zookeeper Hadoop01:2181 --from-beginning --topic Demo1

查看Topic消费进度

显示Consumer Group的offset情况，必须参数为--group，不指定--topic，默认为所有topic

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group pv

增加Topic分区数

为Topic Demo1增加11个分区

kafka-topics.sh --zookeeper Hadoop01:2181 --alter --topic Demo1 --partitions 11

删除Topic

注意，只会删除zookeeper中的元数据，消息文件须手动删除

kafka-topics.sh --delete --zookeeper Hadoop01:2181 --topic Demo1

给指定的Topic增加配置项

增加一个参数设置max message size值为128000

kafka-topics.sh --zookeeper Hadoop01:2181 --alter --topic Demo1 --config max.message.bytes=128000

参考文章
Kafka Shell基本命令：https://www.cnblogs.com/xiaodf/p/6093261.html#2