1. 获取Kafka Consumer Offset Monitor安装包
http://pan.baidu.com/s/1kT5KeQ7
2. Kafka Consumer Offset Monitor启动脚本kafkacom.sh
java -Xms128M -Xmx256M -Xss1024K -XX:PermSize=128m -XX:MaxPermSize=256m -cp KafkaOffsetMonitor-assembly-0.2.0.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk localhost:2181 --port 8086 --refresh 10.seconds --retain 7.days 1> kakfa.offset.monitor.logs.stdout.log 2>kafka.offset.monitor.logs.stderr.log &
3.启动Zookeeper、Kafka Brokers
4. 启动Kafka Consumer Offset Monitor
sh kafkacom.sh
5. 在浏览器中访问如下地址打开监控界面:
http://192.168.26.140:8086
6. 启动Producer和Consumer,写20000万条消息,刷新浏览器查看offset的变化,可以看到
7. Consumer Offsets表各个列的含义:
- Topic:Topic的名字
- Partition:Topic包含的分区,上例中,learn.topic.p8.r2有8个分区
- Offset:Kafka Consumer已经消费的分区上的消息数
- logSize: 已经写到该分区的消息数
- Lag:还有多少消息数未读取(Lag = logSize-Offset)
- Owner: 该分区位于哪个Broker上,上例中有三个Broker(consumer group name + hostname + broker.id)
- Created: 分区创建时间
- Last Seen: Offset和logSize数字最后一次更新时间
8. 注意的问题:
刚开始启动时,发现Lag为负数,这明显不对,但是当使用Producer和Consumer进行读写Kafka后,数字显示正常
参考:http://blog.csdn.net/lizhitao/article/details/27199863