Kafka 监控调研

原创 2015年07月08日 09:39:31

1.如何监控Kafka

Kafka的数据统计是通过metrics的工具进行收集的,kafka大量使用了metrics做各种性能统计。

Kafka没有自己的web管理界面

 

2.Kafka的监控工具?

1JMX可视化工具

metrics以JMX的形式提供了对外查看数据的接口,所以我们可以在kafka启动的时候指定JMX的端口,然后通过可视化的工具查看即可。

2KafkaOffsetMonitor

优点:使用简单,配置简单,界面简单

缺点:不能自动刷新,必须手动刷新,功能覆盖不全

功能:

1.consumer消费情况进行监控,并能列出每个consumeroffset的滞后数据

2.每个topic的partition的列表(topic,pid,offset,logSize,logSize,lag,owner)

3.查看topic的历史消费信息

3kafka-web-console

优点:刷新较快,功能比较齐全

缺点:搭建比较负责

 

scala开发,构建工具sbt

默认的数据库是H2

功能:

1.brokerkafka 集群信息

2.Topics:分区(Partition)数,logsize,分区的leader

3.Consumergrouppartitionoffsetlag(落后,延迟)

Graphs 展示consumeroffsetlag

 

4.其他

Latestpublished topic messages

providesa JSON API described in RAML

 http://[hostname]:[port]/api/console.

 

4Kafka-Manager

Kafka管理器

可以管理多个集群

检查集群的状态:topicsbrokers、副本的分布、分区的分布

支持选择副本:?

支持副本重新分配

创建Topic

 

*)其他

CSVMetricsReporter    将相应的指标分别写入到CSV文件中,然后用脚本采集即可。

将JMX端口暴漏出来,用JMXTrans把数据发到ganglia

kafka提供的脚本:bin/kafka-run-class.shkafka.tools.ConsumerOffsetChecker --zkconnect localhost:2181 --group test

 

优点:可以获取所有可用的监控指标

缺点:使用不够方便、直观

 

 

3.Kafka的监控指标

Kafka集群的状态:brokertopicpattionreplicationleader、分布是否均匀

Topics:每个topicpartition的列表(topicpidoffsetlogSizelogSizelagowner

Consumer:grouppartition offsetlag(落后,延迟)

相关文章推荐

KafkaConsumer及其监控

Kafka目前为java提供了两种consumer的API: - High level consumer - Simple consum
  • xeseo
  • xeseo
  • 2014年07月29日 17:21
  • 1851

Kafka监控——获取Partition的LogSize、Lag、BrokerId

一、引入kafka Pom依赖 org.apache.kafka kafka_2.10 0.8.1.1 二、LogSize、BrokerId获取实现类 ...

ganglia监控kafka

当然前提是有ganglia,由于ganglia安装部署过程网上有很多,此处就不讲了。 1,到github下载下面的工程:     https://github.com/criteo/kafka-g...

Kafka学习之监控

参考文档:https://kafka.apache.org/documentation.html#monitoring   Kafka使用Yammer Metrics来报告server和clien...

Kafka设计解析(五)- Kafka性能测试方法及Benchmark报告

本文转发自Jason’s Blog,原文链接 http://www.jasongj.com/2015/12/31/KafkaColumn5_kafka_benchmark 摘要 ...
  • alphags
  • alphags
  • 2016年11月11日 12:12
  • 500

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

调用封装好的Producer,结合Kafka监控工具KafkaOffsetMonitor的使用与分析。
  • dabokele
  • dabokele
  • 2016年08月30日 22:51
  • 13118

kafka管理器kafka-manager部署安装

运行的环境要求 Kafka 0.8.1.1+ sbt 0.13.x Java 7+ 功能为了简化开发者和服务工程师维护Kafka集群的工作,yahoo构建了一个叫做Kafka管理器的基于Web工具,叫...
  • lsshlsw
  • lsshlsw
  • 2015年08月05日 17:02
  • 17531

kafka监控工具kafkaOffsetMoniter的使用

简介KafkaOffsetMonitor是由Kafka开源社区提供的一款Web管理界面,用来实时监控Kafka的Consumer以及Partition中的Offset,可以在web界面直观的看到每个P...
  • lsshlsw
  • lsshlsw
  • 2015年08月07日 17:45
  • 3347

kafka学习总结(七)——kafka监控-kafkaOffsetMonitor

1、kafkaOffsetmonitor简述 KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面,这个应用程序用来实时监控Kafka服务的Consumer以及它们所在...

kaka-manager和kafka-offset-monitor的安装和使用

由于kafka本身不提供ui操作界面,操作起来只提供了有限的几个脚本,所以使用起来对其本身的运行状态无法感知。但是,kafka本身是和zookeeper相连的,而对应producer和consumer...
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kafka 监控调研
举报原因:
原因补充:

(最多只允许输入30个字)