storm消费kafka的速度在ui里面是看不到的。
所以是需要 一款kafka的监控软件,来监控storm消费kafka的情况。
经过比较,选择了KafkaOffsetMonitor这款工具。
这款软件的优点是,直接是一个jar,可以直接运行,对kafka集群没有要影响。
但是使用中有几个问题要注意。
1、版本问题。
现在网络上0.2.0版本提供下载较多,但是该版本不提供storm的支持。所以应该使用0.2.1以上的版本。
2、运行参数设置
KafkaOffsetMonitor对storm的支持,需要增加参数 offsetStorage 和 stormZKOffsetBase。其中stormZKOffsetBase的路径设置,为在zk上存储kafka节点的位置,需要与SpoutConfig里面的zkRoot路径一致,才能准确监控到消费数据。
运行命令举例:
java -cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar \ com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage storm \
--stormZKOffsetBase /xxxxx \
--zk xxx:2181 \
--port 50000 \
--refresh 10.seconds \
--retain 2.days
3、KafkaOffsetMonitor 0.2.1版本以上存在打开页面不显示内容的问题
打开页面后一片空白&#x