Kafka 监控调研

原创 2015年07月08日 09:39:31

1.如何监控Kafka

Kafka的数据统计是通过metrics的工具进行收集的,kafka大量使用了metrics做各种性能统计。

Kafka没有自己的web管理界面

 

2.Kafka的监控工具?

1JMX可视化工具

metrics以JMX的形式提供了对外查看数据的接口,所以我们可以在kafka启动的时候指定JMX的端口,然后通过可视化的工具查看即可。

2KafkaOffsetMonitor

优点:使用简单,配置简单,界面简单

缺点:不能自动刷新,必须手动刷新,功能覆盖不全

功能:

1.consumer消费情况进行监控,并能列出每个consumeroffset的滞后数据

2.每个topic的partition的列表(topic,pid,offset,logSize,logSize,lag,owner)

3.查看topic的历史消费信息

3kafka-web-console

优点:刷新较快,功能比较齐全

缺点:搭建比较负责

 

scala开发,构建工具sbt

默认的数据库是H2

功能:

1.brokerkafka 集群信息

2.Topics:分区(Partition)数,logsize,分区的leader

3.Consumergrouppartitionoffsetlag(落后,延迟)

Graphs 展示consumeroffsetlag

 

4.其他

Latestpublished topic messages

providesa JSON API described in RAML

 http://[hostname]:[port]/api/console.

 

4Kafka-Manager

Kafka管理器

可以管理多个集群

检查集群的状态:topicsbrokers、副本的分布、分区的分布

支持选择副本:?

支持副本重新分配

创建Topic

 

*)其他

CSVMetricsReporter    将相应的指标分别写入到CSV文件中,然后用脚本采集即可。

将JMX端口暴漏出来,用JMXTrans把数据发到ganglia

kafka提供的脚本:bin/kafka-run-class.shkafka.tools.ConsumerOffsetChecker --zkconnect localhost:2181 --group test

 

优点:可以获取所有可用的监控指标

缺点:使用不够方便、直观

 

 

3.Kafka的监控指标

Kafka集群的状态:brokertopicpattionreplicationleader、分布是否均匀

Topics:每个topicpartition的列表(topicpidoffsetlogSizelogSizelagowner

Consumer:grouppartition offsetlag(落后,延迟)

Kafka学习之监控

参考文档:https://kafka.apache.org/documentation.html#monitoring   Kafka使用Yammer Metrics来报告server和clien...
  • damacheng
  • damacheng
  • 2015年01月04日 16:20
  • 8053

JVM和Java Metrics使用样例(读取kafka统计信息)

不多说无用的话,以访问Kafka的Metrics统计信息为例,简单记录如何访问JVM中Java Metrics信息。 代码仅是流程示例,不保证编译通过。 import javax.manage...
  • jsky_studio
  • jsky_studio
  • 2014年11月24日 22:21
  • 1778

kafka监控

kafka监控 kafka-web-console https://github.com/claudemamo/kafka-web-console 部署sbt: h...
  • javastart
  • javastart
  • 2016年02月22日 13:50
  • 1397

ganglia监控kafka

当然前提是有ganglia,由于ganglia安装部署过程网上有很多,此处就不讲了。 1,到github下载下面的工程:     https://github.com/criteo/kafka-g...
  • silent_strings
  • silent_strings
  • 2016年03月13日 20:13
  • 1892

apache kafka系列之-监控指标

apache kafka中国社区QQ群:1622725571、监控目标    1.当系统可能或处于亚健康状态时及时提醒,预防故障发生    2.报警提示 a.短信方式 b.邮件2、监控内容2.1 机器...
  • lizhitao
  • lizhitao
  • 2014年04月27日 12:21
  • 9591

MXtrans + InfluxDB + Grafana实现Kafka性能指标监控

MXtrans + InfluxDB + Grafana实现Kafka性能指标监控 架构 一般系统监控通常分为3部分: 数据采集 分析与转换 展现...
  • zoubf
  • zoubf
  • 2017年02月16日 11:26
  • 982

如何使用JMX监控Kafka

使用kafka做消息队列中间件时,为了实时监控其性能时,免不了要使用jmx调取kafka broker的内部数据,不管是自己重新做一个kafka集群的监控系统,还是使用一些开源的产品,比如yahoo的...
  • u013256816
  • u013256816
  • 2016年12月08日 21:16
  • 8265

kafka_0.10.1.0监控及管理

1. kafka监控kafka自身没有监控管理页面,无论是进行一些管理操作还是状态的监控都要命令加一大堆记不住的参数,实在是很不方便,不过好在在github上开源了一些工具,在kafka的生态系统中也...
  • czmacd
  • czmacd
  • 2017年02月15日 17:39
  • 3126

Kafka监控框架介绍

前段时间在想Kafka怎么监控、怎么知道生产的消息或消费的消费是否有丢失,目前有几个开源的Kafka监控框架这里整理了下,不过这几个框架都有各自的问题侧重点不一样; 1、Kafka Monitor ...
  • ccc82284
  • ccc82284
  • 2017年01月24日 16:17
  • 290

apache kafka系列之jmx监控指标参数

Kafka使用Yammer Metrics来
  • lizhitao
  • lizhitao
  • 2014年06月30日 10:40
  • 8289
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Kafka 监控调研
举报原因:
原因补充:

(最多只允许输入30个字)