kafka日常运维命令

最新推荐文章于 2024-09-04 17:46:31 发布

扯淡的工程师

最新推荐文章于 2024-09-04 17:46:31 发布

阅读量339

点赞数

文章标签： linux

本文链接：https://blog.csdn.net/m0_49217529/article/details/109535862

版权

本文介绍了如何在Linux环境下进行Kafka的日常运维，包括查询消费情况以检查LAG积压，查看主题，以及使用kafka-consumer-groups.sh进行offset重置策略的选择。在测试时，可以先不加--execute选项来验证命令，确保无误后再执行。此外，还提到了如何清除特定topic的积压，并使用kafka-replica-verification命令检查数据一致性。

摘要由CSDN通过智能技术生成

查询kafka消费情况，主要看LAG，所有加起来就是积压的情况

/opt/ul/kafka/bin/kafka-consumer-groups.sh --bootstrap-server=172.17.0.135:9092 --describe --group test_group

查看积压

/opt/ul/kafka/bin/kafka-consumer-groups.sh --bootstrap-server=172.17.0.135:9092 --describe --group test_group

查看主题

/opt/ul/kafka/bin/kafka-topics.sh --zookeeper 172.17.0.135:2181 --list

# 清除所有积压

/opt/ul/kafka/bin/kafka-consumer-groups.sh --bootstrap-server=127.0.0.1:9092 --topic=test（主题） --reset-offsets --to-latest --group test_group(消费群组ID) --execute

kafka-consumer-groups.sh提供了多种offset重置策略给我们选择如何重置offset

--to-current 直接重置offset到当前的offset，也就是LOE 
--to-datetime <String: datetime> 重置offset到指定时间的offset处 
--to-earliest 重置offset到最开始的那条offset 
--to-offset <Long: offset> 重置offset到目标的offset 
--shift-by &