kafka集群监控工具之 Kafka Offset Monitor

一 下载Kafka Offset Monitor软件

KafkaOffsetMonitor-assembly-0.2.0.jar

二 安装部署

1 准备一个目录kafka_monitor

在该目录下放下面两个文件

监控软件：KafkaOffsetMonitor-assembly-0.2.0.jar

启动脚本：kafak_monitor_start.sh

2 准备启动脚本kafak_monitor_start.sh

[root@master kafka_monitor]# cat kafak_monitor_start.sh
#! /bin/bash
java -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk master:2181,slave1:2181,slave2:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 7.days

3 脚本含义解释

首先指明运行Web监控的类，然后需要用到ZooKeeper，所有要填写ZK集群信息，接着是Web运行端口，页面数据刷新的时间以及保留数据的时间值。

三 启动

1 启动zk

zkServer.sh start

2 在master、slave1和slave2节点启动kafka

kafka-server-start.sh /opt/kafka_2.10-0.8.2.1/config/server.properties &

3 master节点创建一个topic，slave1启动生成者，slave2启动消费者

master节点：

[root@master ~]# kafka-topics.sh --create --replication-factor 3 --partition 3 --topic user-behavior-topic1 --zookeeper 192.168.0.110:2181

slave1节点：

[root@slave1 ~]# kafka-console-producer.sh --broker-list 192.168.0.110:9092 --topic user-behavior-topic1

slave2节点：

[root@slave2 ~]# kafka-console-consumer.sh --zookeeper 192.168.0.110:2181 --topic user-behavior-topic1 --from-beginning

3 master节点启动Kafka Offset Monitor

[root@master kafka_monitor]# ./kafak_monitor_start.sh

四 测试

1 截图1

2 截图2

3 截图3

4 截图4

五 测试相关说明

Topic：创建Topic名称

Partition：分区编号

Offset：表示该Parition已经消费了多少Message

LogSize：表示该Partition生产了多少Message

Lag：表示有多少条Message未被消费

Owner：表示消费者

Created：表示该Partition创建时间

Last Seen：表示消费状态刷新最新时间

六 参考

http://www.jikexueyuan.com/course/2238.html

http://blog.csdn.net/whjcsdnwhj/article/details/78080230