本篇结构:
- kafka topic 管理脚本
- kafka 生产者控制台
- kafka 消费者控制台
- kafka 消费者组管理脚本
- kafka 消费者性能测试脚本
- kafka 消息日志目录信息查询脚本
一、kafka topic 管理脚本
1.1、创建 topic
kafka-topics.sh --create --zookeeper 127.0.0.1:2181 --replication-factor 1 --partitions 2 --topic test-topic
参数说明
- –topic:指定topic name
- –partitions:指定分区数,这个参数需要根据 broker 数和数据量决定,正常情况下,每个 broker 上两个 partition 最好
- –replication-factor:指定 partition 的 replicas 数,建议设置为 2,也要注意,该参数不能大于 brocker 数量,否则会抛出 InvalidReplicationFactorException 异常。
1.2、查看 topic
1.2.1、列举所有 topic
kafka-topics.sh --zookeeper 127.0.0.1:2181 --list
1.2.2、查看某个 topic 信息
kafka-topics.sh --describe --zookeeper 127.0.0.1:2181 --topic test-topic
Topic:test-topic PartitionCount:2 ReplicationFactor:1 Configs:
Topic: test-topic Partition: 0 Leader: 1 Replicas: 1 Isr: 1
Topic: test-topic Partition: 1 Leader: 1 Replicas: 1 Isr: 1
1.2.3、查看所有 topic 信息
kafka-topics.sh --describe --zookeeper 127.0.0.1:2181