kafka命令

最新推荐文章于 2024-09-14 15:36:14 发布

什么阳

最新推荐文章于 2024-09-14 15:36:14 发布

阅读量37

点赞数

分类专栏：大数据文章标签： kafka java 分布式

本文链接：https://blog.csdn.net/gcy2263/article/details/129357795

版权

大数据专栏收录该内容

1 篇文章 0 订阅

订阅专栏

文章介绍了如何使用kafka-consumer-groups.sh脚本来查看和描述在Zookeeper和Kafka上保存的ConsumerGroup列表及消费情况。具体命令包括列出ConsumerGroup、查看消费详情以及检查offset。此外，还提到了kafka-run-class.sh和kafka-console-consumer.sh用于数据消费和检查。

摘要由CSDN通过智能技术生成


使用kafka-consumer-groups.sh查看当前消费情况。
?查看Offset保存在Zookeeper上的Consumer Group列表：
./kafka-consumer-groups.sh --list --zookeeper ZooKeeper的任意一个节点的IP:clientPort/kafka

eg:./kafka-consumer-groups.sh --zookeeper 10.100.36.202:24002/kafka --list

?查看Offset保存在Kafka上的Consumer Group列表：
./kafka-consumer-groups.sh --list --bootstrap-server <Broker的任意一个节点的业务IP:21007> --command-config ../config/consumer.properties

eg:./kafka-consumer-groups.sh --bootstrap-server 10.100.16.65:21007 --list --command-config ../config/consumer.properties

?查看Offset保存在Zookeeper上的Consumer Group消费情况：
./kafka-consumer-groups.sh --describe --zookeeper ZooKeeper的任意一个节点的业务IP:clientPort/kafka --group 消费组名称

eg:./kafka-consumer-groups.sh --describe --zookeeper 10.100.16.48:24002,10.100.16.56:24002,10.100.16.47:24002/kafka --group example-group1

?查看Offset保存在Kafka上的Consumer Group消费情况：
./kafka-consumer-groups.sh --describe --bootstrap-server <Broker的任意一个节点的业务IP:21007> --group 消费组名称 --command-config ../config/consumer.properties

eg:./kafka-consumer-groups.sh --describe --bootstrap-server 192.168.1.1:21007 --group example-group --command-config ../config/consumer.properties

kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group example-group1 --topic alpay-wd-EC_TEMP_BASE_REAL_ADD --zookeeper   10.100.16.48:24002,10.100.16.56:24002,10.100.16.47:24002/kafka


kafka-consumer-groups.sh --bootstrap-server 10.100.16.64:21007,10.100.16.65:21007,10.100.16.66:21007 --describe --group example-group1

#消费数据
kafka-console-consumer.sh --topic alpay-wd-EC_TEMP_BASE_REAL_ADD --bootstrap-server 10.100.16.64:21007,10.100.16.65:21007,10.100.16.66:21007 --consumer.config /opt/hadclient/Kafka/kafka/config/consumer.properties

curl -XGET --tlsv1.2 --negotiate -k -u : 'https://10.100.36.164:24100/_cluster/health?pretty'