apache kafka监控系列-KafkaOffsetMonitor

 

开源社区提供了kafka的web管理平台KafkaOffsetMonitor.就迅速拿过来运行。

 

说明:

 

这个应用程序来实时监控你kafka服务的consumer以及他们在partition中的offset(偏移)。 

 

你可以浏览当前的消费者组,每个topic的所有partition的消费 情况都可以一览无余。这其实是很有用得,从这里你很快知道每个partition的message是否很快被消费(没有阻塞)。他能指导你(kafka producer和consumer)优化代码。

 

这个web管理平台保留的partition offset和consumer滞后的历史数据,所以你可以很轻易了解这几天consumer消费情况。 

 

KafkaOffsetMonitor功能:

 

1.从标题都可以看出来,Kafka Offset Monitor,是对consumer消费情况进行监控,并能列出每个consumer offset,滞后数据。

 

2.消费者组列表

 

3.每个topic的所有parition列表(topic,pid,offset,logSize,lag,owner)

 

4.查看topic的历史消费信息.

 

虽然功能覆盖面不全,但是很实用。

 

1.下载

 

github官网下载

 

KafkaOffsetMonitor

 

 

百度云下载(网速快)

 

百度云KafkaOffsetMonitor下载

 

说明:百度云下载为修改版本,因为KafkaOffsetMonitor中有些资源文件(css,js)是访问外网的,特别是有访问google资源,大家都懂的,经常不能访问。建议下载修改版

 

2.安装

 

KafkaOffsetMonitor运行比较简单,因为所有运行文件,资源文件,jar文件都打包到KafkaOffsetMonitor-assembly-0.2.0.jar了,直接运行就可以,这种方式太棒了。既不用编译也不用配置,呵呵,也不是绝对不配置。

 

a.新建一个目录kafka-offset-console,然后把jar拷贝到该目录下.

 

b.新建脚本,因为您可能不是一个kafka集群。用脚本可以启动多个

 

 

li@users-MacBook-Pro:   vim mobile_start_en.sh

 

#!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb  --zk 192.168.2.101:2181,192.168.2.102:2182,192.168.2.103:2181/config/mobile/xxx --port 8086 --refresh 10.seconds --retain 7.days 1>mobile-logs/stdout.log 2>mobile-logs/stderr.log &

 

 

 

注意:/config/mobile/xxx  表示zk的根目录,需要手工创建,也可以不设置

 

 

3.运行

 

lizhitao@users-MacBook-Pro:  chmod +x mobile_start_en.sh

 

lizhitao@users-MacBook-Pro:  ./mobile_start_en.sh

 

serving resources from: jar:file:/opt/xxx/kafka-offset-console/KafkaOffsetMonitor-assembly-0.2.0.jar!/offsetapp

 

 

 

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值