关闭

apache kafka监控系列-KafkaOffsetMonitor

332人阅读 评论(0) 收藏 举报
分类:

apache kafka中国社区QQ群:162272557

概览

最近kafka server消息服务上线了,基于jmx指标参数也写到zabbix中了,但总觉得缺少点什么东西,可视化可操作的界面。zabbix中数据比较分散,不能集中看整个集群情况。或者一个cluster中broker列表,自己写web-console比较耗时耗力,用原型工具画了一些管理界面东西,关键自己也不前端方面技术,这方面比较薄弱。这不开源社区提供了kafka的web管理平台KafkaOffsetMonitor.就迅速拿过来运行。大家不要着急,马上娓娓道来。

说明:

这个应用程序来实时监控你kafka服务的consumer以及他们在partition中的offset(偏移)。 

你可以浏览当前的消费者组,每个topic的所有partition的消费情况都可以一览无余。这其实是很有用得,从这里你很快知道每个partition的message是否很快被消费(没有阻塞)。他能指导你(kafka producer和consumer)优化代码。

这个web管理平台保留的partition offset和consumer滞后的历史数据,所以你可以很轻易了解这几天consumer消费情况。 

KafkaOffsetMonitor功能:

1.从标题都可以看出来,Kafka Offset Monitor,是对consumer消费情况进行监控,并能列出每个consumer offset,滞后数据。

2.消费者组列表

3.每个topic的所有parition列表(topic,pid,offset,logSize,lag,owner)

4.查看topic的历史消费信息.

虽然功能覆盖面不全,但是很实用。

1.下载

github官网下载

KafkaOffsetMonitor

百度云下载(网速快)

百度云KafkaOffsetMonitor下载

说明:百度云下载为修改版本,因为KafkaOffsetMonitor中有些资源文件(css,js)是访问外网的,特别是有访问google资源,大家都懂的,经常不能访问。建议下载修改版

2.安装

KafkaOffsetMonitor运行比较简单,因为所有运行文件,资源文件,jar文件都打包到KafkaOffsetMonitor-assembly-0.2.0.jar了,直接运行就可以,这种方式太棒了。既不用编译也不用配置,呵呵,也不是绝对不配置。

a.新建一个目录kafka-offset-console,然后把jar拷贝到该目录下.

b.新建脚本,因为您可能不是一个kafka集群。用脚本可以启动多个

lizhitao@users-MacBook-Pro:   vim mobile_start_en.sh

#!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --zk 192.168.2.101:2181,192.168.2.102:2182,192.168.2.103:2181/config/mobile/xxx \               
     --port 8086 \
     --refresh 10.seconds \
     --retain 7.days 1>mobile-logs/stdout.log 2>mobile-logs/stderr.log &

注意:/config/mobile/xxx  表示zk的根目录,需要手工创建,也可以不设置

3.运行

lizhitao@users-MacBook-Pro:  chmod +x mobile_start_en.sh

lizhitao@users-MacBook-Pro:  ./mobile_start_en.sh

serving resources from: jar:file:/opt/xxx/kafka-offset-console/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp

6 演示截图:

消费者组列表


topic的所有partiton消费情况列表



以上图中参数含义解释如下:

topic:创建时topic名称

partition:分区编号

offset:表示该parition已经消费了多少条message

logSize:表示该partition已经写了多少条message

Lag:表示有多少条message没有被消费。

Owner:表示消费者

Created:该partition创建时间

Last Seen:消费状态刷新最新时间。

kafka正在运行的topic


kafka集群中topic列表


kafka集群中broker列表



请注明转载自:http://blog.csdn.net/lizhitao/article/details/27199863
0
0
查看评论
发表评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

调用封装好的Producer,结合Kafka监控工具KafkaOffsetMonitor的使用与分析。
  • dabokele
  • dabokele
  • 2016-08-30 22:51
  • 16218

KafkaOffsetMonitor 监控工具的安装与使用

Kafka 监控工具KafkaOffsetMonitor 的安装和使用
  • daiyutage
  • daiyutage
  • 2016-08-11 16:59
  • 978

Kafka系列之-Kafka Protocol实例分析

本文基于A Guide To The Kafka Protocol文档,以及Spark Streaming中实现的org.apache.spark.streaming.kafka.KafkaClust...
  • dabokele
  • dabokele
  • 2017-01-16 17:32
  • 1398

kafka eagle安装与使用

1.概述 在开发工作当中,在使用 Kafka 集群进行消息的生产和消费时,数据的变动以及topic的管理是我们所关心的内容,这就要求一套行之有效的监控管理体系。常见的kafka监控软件有4种如下所示...
  • whg18526080015
  • whg18526080015
  • 2017-06-23 13:59
  • 2419

Kafka三款监控工具比较

转载原文:http://top.jobbole.com/31084/ 通过研究,发现主流的三种kafka监控程序分别为: Kafka Web Conslole Kafka Ma...
  • chuntian_feng
  • chuntian_feng
  • 2016-07-10 15:17
  • 12957

如何使用JMX监控Kafka

使用kafka做消息队列中间件时,为了实时监控其性能时,免不了要使用jmx调取kafka broker的内部数据,不管是自己重新做一个kafka集群的监控系统,还是使用一些开源的产品,比如yahoo的...
  • u013256816
  • u013256816
  • 2016-12-08 21:16
  • 7584

Kafka总结系列(一)

Apache kafka:一个高吞吐量的分布式发布订阅消息系统         从最初的了解、学习kafka,到后来基于其API进行开发,再到后来有意识地了解其实现原理,是一个漫长的过程。趁周末有空梳...
  • anjing900812
  • anjing900812
  • 2016-06-25 15:31
  • 484

apache kafka系列之安装与使用

1.前言 学习kafka的基础是先把kafka系统部署起来,然后简单的使用它,从直观上感觉它,然后逐步的深入了解它。 本文介绍了kafka部署方法,包括配置,安装和简单的使用。 2.kafk...
  • lizhitao
  • lizhitao
  • 2014-05-13 02:51
  • 9692

Apache Kafka 实战从零开始(一)

不多说,咱们直接进入主题,那么我这里介绍一下我的环境。我用的是mac本,没有往本机装虚拟机,所以我用的是我的阿里云主机,穷滴很,就单节点吧咳咳。 那么首先说一下,由于我们的Kafka需要zookee...
  • qq_23660243
  • qq_23660243
  • 2016-08-08 16:46
  • 822

apache kafka系列之jmx监控指标参数

Kafka使用Yammer Metrics来
  • lizhitao
  • lizhitao
  • 2014-06-30 10:40
  • 8079
    个人资料
    • 访问:398020次
    • 积分:6136
    • 等级:
    • 排名:第4738名
    • 原创:178篇
    • 转载:320篇
    • 译文:0篇
    • 评论:32条
    学习交流
    java资源分享群:222379715
    文章分类
    最新评论