前言
搭建好kafka集群之后,需要知道kafka的topic
、 consumer group
等消息消费、生产数据监控。恰好在GitHub上找到了一个干这种事情的工具。 KafkaOffsetMonitor运行比较简单,因为所有运行文件,资源文件,jar文件都打包到KafkaOffsetMonitor-assembly-0.2.0.jar了,直接运行就可以,这种方式太棒了。只需要做一个启动脚本,设置必要的参数即可,以jar包的形式运行。传送门
使用步骤
- 下载jar包
- 编写运行脚本
#!/bin/bash
java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m -cp KafkaOffsetMonitor-assembly-0.2.1.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--zk xxxxxx:2181,xxxxxx:2181,xxxxxx:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 7.days 1>logs/stdout.log 2>logs/stderr.log &
参数释义:zk
zookeeper主机port
监控进程访问端口refresh
刷新数据间隔retain
数据存储过期时间
注意:日志的目录需要提前建好,不然会报错; 做的完善点的方式将此脚本已supervisor运行。
-
由于下载的Jar运行后,因为监控界面会请求外网的js,所以需要翻墙。所以就这部分做了小修改:
- 将google的三个js(
angular.js
,angular-resource.js
,angular-route.js
)下载下来,放到jar包中的offsetapp/scripts/
目录下 - 修改jar包中
offsetapp/scripts/index.html
文件,修改对google的js的引用路径 - 调整jar包中
offsetapp/scripts/directives.js
中highchart的参数,使图表更加美观。
修改好的5个文件如下,只需要用以下五个文件替换jar包中对应的文件即可
- 将google的三个js(
-
监控部分截图