【Kafka】linux环境执行脚本读写

最新推荐文章于 2023-08-26 16:51:51 发布

咸煌

最新推荐文章于 2023-08-26 16:51:51 发布

阅读量234

点赞数

分类专栏： Kafka 文章标签： kafka

本文链接：https://blog.csdn.net/qq_21084687/article/details/116533772

版权

Kafka 专栏收录该内容

1 篇文章 0 订阅

订阅专栏

本文介绍了Kafka的一系列命令行工具使用方法，包括消费者用于监听即时数据、生产者推送测试消息、查看消费者组状态以检查数据堆积、列举所有topic、创建与查询topic详情，以及在K8s环境下执行Kafka命令。这些工具对于理解和调试Kafka集群至关重要。

摘要由CSDN通过智能技术生成

【1】消费topic数据

# ip:port是kafka服务的ip和端口号
./kafka-console-consumer.sh --bootstrap-server ip:port --topic topic_name

示例：
./kafka-console-consumer.sh --bootstrap-server 127.0.0.1:9092 --topic test_topic

执行后，监听即时数据，如果有数据产生，会打印在界面上。

【2】推送消息到指定topic
可用以推送测试数据。

# ip:port是kafka服务的ip和端口号
./kafka-console-producer.sh --broker-list ip:port --topic topic_name

示例：
./kafka-console-producer.sh --broker-list 127.0.0.1:9092 --topic test_topic

执行后，可在新出现的输入框中输入消息并回车发送。
>{“name”:“zhangshan”}
>

【3】查看组消费情况
用以查看某个group消费情况，如果剩余数据较多，可能是消费速度慢，产生了堆积。

# ip:port是kafka服务的ip和端口号
./kafka-consumer-groups.sh --bootstrap-server ip:port --describe --group group_id

示例：
./kafka-consumer-groups.sh --bootstrap-server 127.0.0.1:9092 --describe --group test_group

【4】查看topic列表
查看环境上存在的topic

# ip:port是zookeeper服务的ip和端口号
./kafka-topics.sh --zookeeper ip:port --list

示例：
./kafka-topics.sh --zookeeper 127.0.0.1:2181 --list

【5】创建topic

# ip:port是zookeeper服务的ip和端口号
./kafka-topics.sh --create --zookeeper ip:port --replication-factor replication_count --partitions partition_count -- topic topic_name

示例：
./kafka-topics.sh --create --zookeeper ip:port --replication-factor 1 --partitions 10 -- topic test_topic

–replication-factor 设置副本数量，不能超过broker数量，broker概念有点像集群的节点。
–partitions 设置分区，分区会均匀分布到各个broker上，增加分区能一定程度提高吞吐量，但也不宜过多，太多反而I/O开销大。

【6】查询分区详情

# ip:port是zookeeper服务的ip和端口号
./kafka-topics.sh --zookeeper ip:port --describe --topic topic_name

示例：
./kafka-topics.sh --zookeeper 127.0.0.1:2181 --describe --topic test_topic

【7】若环境上kafka是用k8s管理的pod微服务

# pod外执行命令
kubectl exec -it kafka_pod_name -- /install_package/kafka-xx.sh --params xx

示例：
kubectl exec -it kafka-0 -- /opt/kafka/bin/kafka-console-consumer.sh --bootstrap-server kafka-hs:9093 --topic test_topic