关闭

Kafka 监控调研

标签: 中间件管理分布式 Kafka 监控
764人阅读 评论(0) 收藏 举报
分类:

1.如何监控Kafka

Kafka的数据统计是通过metrics的工具进行收集的,kafka大量使用了metrics做各种性能统计。

Kafka没有自己的web管理界面

 

2.Kafka的监控工具?

1JMX可视化工具

metrics以JMX的形式提供了对外查看数据的接口,所以我们可以在kafka启动的时候指定JMX的端口,然后通过可视化的工具查看即可。

2KafkaOffsetMonitor

优点:使用简单,配置简单,界面简单

缺点:不能自动刷新,必须手动刷新,功能覆盖不全

功能:

1.consumer消费情况进行监控,并能列出每个consumeroffset的滞后数据

2.每个topic的partition的列表(topic,pid,offset,logSize,logSize,lag,owner)

3.查看topic的历史消费信息

3kafka-web-console

优点:刷新较快,功能比较齐全

缺点:搭建比较负责

 

scala开发,构建工具sbt

默认的数据库是H2

功能:

1.brokerkafka 集群信息

2.Topics:分区(Partition)数,logsize,分区的leader

3.Consumergrouppartitionoffsetlag(落后,延迟)

Graphs 展示consumeroffsetlag

 

4.其他

Latestpublished topic messages

providesa JSON API described in RAML

 http://[hostname]:[port]/api/console.

 

4Kafka-Manager

Kafka管理器

可以管理多个集群

检查集群的状态:topicsbrokers、副本的分布、分区的分布

支持选择副本:?

支持副本重新分配

创建Topic

 

*)其他

CSVMetricsReporter    将相应的指标分别写入到CSV文件中,然后用脚本采集即可。

将JMX端口暴漏出来,用JMXTrans把数据发到ganglia

kafka提供的脚本:bin/kafka-run-class.shkafka.tools.ConsumerOffsetChecker --zkconnect localhost:2181 --group test

 

优点:可以获取所有可用的监控指标

缺点:使用不够方便、直观

 

 

3.Kafka的监控指标

Kafka集群的状态:brokertopicpattionreplicationleader、分布是否均匀

Topics:每个topicpartition的列表(topicpidoffsetlogSizelogSizelagowner

Consumer:grouppartition offsetlag(落后,延迟)

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:2907次
    • 积分:101
    • 等级:
    • 排名:千里之外
    • 原创:7篇
    • 转载:4篇
    • 译文:0篇
    • 评论:0条