kafka监控工具KafkaOffsetMonitor配置及使用

介绍：

KafkaOffsetMonitor是用来实时监控Kafka集群中的consumer以及在队列中的位置（偏移量）。

你可以查看当前的消费者组，每个topic队列的所有partition的消费情况。可以很快地知道每个partition中的消息是否很快被消费以及相应的队列消息增长速度等信息。这些可以debug kafka的producer和consumer，你完全知道你的系统将会发生什么。

这个web管理平台保留的partition offset和consumer滞后的历史数据（具体数据保存多少天我们可以在启动的时候配置），所以你可以很轻易了解这几天consumer消费情况。

KafkaOffsetMonitor这款软件是用Scala代码编写的，消息等历史数据是保存在名为offsetapp.db数据库文件中，该数据库是SQLLite文件，非常的轻量级。虽然我们可以在启动KafkaOffsetMonitor程序的时候指定数据更新的频率和数据保存的时间，但是不建议更新很频繁，或者保存大量的数据，因为在KafkaOffsetMonitor图形展示的时候会出现图像展示过慢，或者是直接导致内存溢出了。

所有的关于消息的偏移量、kafka集群的数量等信息都是从Zookeeper中获取到的，日志大小是通过计算得到的。

============================================================================================

1、KafkaOffsetMonitor下载地址：https://pan.baidu.com/s/1kUZJrCV

KafkaOffsetMonitor-assembly-0.3.0.jar版本

2. 创建启动&停止脚本

启动脚本kafka-monitor-start.sh

java -cp KafkaOffsetMonitor-assembly-0.3.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --offsetStorage kafka --zk 127.0.0.1:2181,127.0.0.1:2182,127.0.0.1:2183 --port 8088 --refresh 5.seconds  --retain 2.days 1>/home/kafka-monitor/logs/stdout.log 2>/home/kafka-monitor/logs/stderr.log & 

3、停止脚本kafka-monitor-stop.sh

killnum=`jps | grep OffsetGetterWeb | awk '{print $1}'`
kill -9 ${killnum}
echo "OK...."

4、访问
http://ip:8088