KafkaOffsetMonitor 安装及使用--kafka监控工具

目录

说明

安装

使用 

---

• 说明

KafkaOffsetMonitor是用来实时监控你kafka服务的consumer以及他们在partition中的offset(偏移)。你可以浏览当前的消费者组，每个topic的所有partition的消费情况都可以一览无余。这其实是很有用得，从这里你很快知道每个partition的message是否很快被消费(没有阻塞)。这个web管理平台保留的partition offset和consumer滞后的历史数据，所以你可以很轻易了解这几天consumer消费情况。 

KafkaOffsetMonitor功能：

1. 从标题都可以看出来，Kafka Offset Monitor，是对consumer消费情况进行监控,并能列出每个consumer offset,滞后数据。
2. 消费者组列表
3. 每个topic的所有parition列表(topic,pid,offset,logSize,lag,owner)
4. 查看topic的历史消费信息.

KafkaOffsetMonitor只能做监控，不能做管理平台，虽然功能覆盖面不全，但是很实用。

• 安装

github官网下载

KafkaOffsetMonitor： https://github.com/quantifind/KafkaOffsetMonitor

最简单的使用方式是从Github上下载一个最新的KafkaOffsetMonitor-assembly-0.2.1.jar，上传到服务器上，然后执行一句命令就可以运行起来。但是在使用过程中有可能会发现页面反应缓慢或者无法显示相应内容的情况。据说这是由于jar包中的某些js等文件需要连接到网络，或者需要翻墙导致的。网上找的一个修改版的KafkaOffsetMonitor对应jar包，可以完全在本地运行，经过测试效果不错。

下载地址是：http://pan.baidu.com/s/1ntzIUPN（KafkaOffsetMonitor-assembly-0.2.0.jar）

mkdir –m /data/kafkamonitor

上传KafkaOffsetMonitor-assembly-0.2.0.jar至/data/kafkamonitor。

vim kafkamonitor.sh

#!/bin/bash
# zk the ZooKeeper hosts
# port on what port will the app be available
# refresh how often should the app refresh and store a point in the DB
# retain how long should points be kept in the DB

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk 10.3.5.105:2181,10.3.5.106:2181,10.3.5.107:2181 \
--port 8181 \
--refresh 10.seconds \
--retain 2.days

后台启动kafkamonitor

• 使用 

登录 http://IP:8181

topic：创建时topic名称
partition：分区编号
offset：表示该parition已经消费了多少条message
logSize：表示该partition已经写了多少条message
Lag：表示有多少条message没有被消费。
Owner：表示消费者
Created：该partition创建时间
Last Seen：消费状态刷新最新时间。