关闭

KafkaOffsetMonitor的安装和使用

标签: KafkaOffsetMonitor
4179人阅读 评论(0) 收藏 举报
分类:
 当你将Kafka集群部署之后,你可能需要知道当前消息队列的增长以及消费情况,这时候你就得需要监控它。今天我这里推荐两款Kafka开源的监控系统:KafkaOffsetMonitor和Kafka Web Console。
  KafkaOffsetMonitor是用来实时监控Kafka集群的consumers以及它们在partition中的offset(偏移量)。
  你可以浏览当前的消息消费者组,每个topic队列的所有partition的消费情况。这其实是很有用得,从这些监控中你可以很快地知道每个partition中的消息是否很快被消费以及相应的队列消息增长速度等信息。这些可以debug kafka的producers和consumers,你完全知道你的系统将会发生什么。
  这个web管理平台保留的partition offset和consumer滞后的历史数据(具体数据保存多少天我们可以在启动的时候配置),所以你可以很轻易了解这几天consumer消费情况。

  KafkaOffsetMonitor这款软件是用Scaka代码编写的,消息等历史数据是保存在名为offsetapp.db数据库文件中,该数据库是SQLLite文件,非常的轻量级。虽然我们可以在启动KafkaOffsetMonitor程序的时候指定数据更新的频率和数据保存的时间,但是不建议更新很频繁,或者保存大量的数据,因为在KafkaOffsetMonitor图形展示的时候会出现图像展示过慢,或者是直接导致内存溢出了。所有的关于消息的偏移量、kafka集群的台数等信息都是从Zookeeper中获取到的,日志大小是通过计算得到的。

1.到官网下载KafkaOffsetMonitor

     链接如下:https://github.com/quantifind/KafkaOffsetMonitor/releases/tag/v0.2.0

2.KafkaOffsetMonitor的安装部署较为简单,所有的资源都打包到一个JAR文件中了,因此,直接运行即可,省去了我们去配置。KafkaOffsetMonitor-assembly-0.2.0.jar,直接启动(直接在jar所在目录下运行):(--zk localhost)

java -cp KafkaOffsetMonitor-assembly-0.2.0.jar \
     com.quantifind.kafka.offsetapp.OffsetGetterWeb \
     --zk zk-server1,zk-server2 \
     --port 8089 \
     --refresh 10.seconds \
     --retain 2.days

各个参数的含义:

1 zk the ZooKeeper hosts
2 port on what port will the app be available
3 refresh how often should the app refresh and store a point in the DB
4 retain how longshould points be kept in the DB
5 dbName where to store the history (default'offsetapp')

解释下这条启动命令的含义,首先我们需要指明运行Web监控的类,然后需要用到ZooKeeper,所有要填写ZK集群信息,接着是Web运行端口,页面数据刷新的时间以及保留数据的时间值。


可以写个启动脚本:
vi start.sh
nohup java -cp ./kom-local.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb --zk 192.168.1.110:2181,192.168.1.111:2181 --port8089 --refresh 10.seconds --retain 3.days &

访问:http://localhost:8089/#/group/console-consumer-541/test



0
0
查看评论

Kafka系列之-Kafka监控工具KafkaOffsetMonitor配置及使用

调用封装好的Producer,结合Kafka监控工具KafkaOffsetMonitor的使用与分析。
  • dabokele
  • dabokele
  • 2016-08-30 22:51
  • 17583

kafka集群监控之KafkaOffsetMonitor 0.4.1版本 以及用sbt编译KafkaOffsetMonitor

黑窗口的kafka集群没有监控,可以使用三方开源的监控工具,查询了些资料,网上流传最多的有三个监控工具: Kafka Web Conslole Kafka Manager KafkaOffsetMonitor 先补一张生产数据:根据网友的实践:Kafka Web Conslole程序运行后,会定时去...
  • qq_20641565
  • qq_20641565
  • 2017-06-07 11:07
  • 2602

KafkaOffsetMonitor的安装和使用

当你将Kafka集群部署之后,你可能需要知道当前消息队列的增长以及消费情况,这时候你就得需要监控它。今天我这里推荐两款Kafka开源的监控系统:KafkaOffsetMonitor和Kafka Web Console。   KafkaOffsetMonitor是用来实时监控Kafka集群的cons...
  • catshitone
  • catshitone
  • 2016-01-05 14:56
  • 4179

KafkaOffsetMonitor 监控工具的安装与本地使用简要说明

KafkaOffsetMonitor监控工具是一个kafka的图形化监控工具,来实时监控你kafka服务的consumer以及他们在partition中的offset(偏移)。相比于黑黑的终端,这个工具可是大大简化了我们的理解工作。 下载地址:KafkaOffsetMonitor 直接下载jar包即...
  • jeanFlower
  • jeanFlower
  • 2017-07-05 15:05
  • 374

windows下KafkaOffsetMonitor下载及安装

KafkaOffsetMonitor是一个可视化工具,来监控kafka的使用状态。 1、下载。 2、安装。这是建立在安装好kafka的基础上的。 1、直接将jar包拷贝到kafka目录\bin\windows 2、新建kafka-monitor.bat文件,并编辑内容:java -cp KafkaO...
  • csdntechnology
  • csdntechnology
  • 2017-05-21 17:25
  • 1587

apache kafka监控系列-KafkaOffsetMonitor

最近kafka server消息服务上线了,基于jmx指标参数也写到zabbix中了,但总觉得缺少点什么东西,可视化可操作的界面。zabbix中数据比较分散,不能集中看整个集群情况。或者一个cluster中broker列表,自己写web-console比较耗时耗力,用原型工具画了一些管理界面东西,关...
  • lizhitao
  • lizhitao
  • 2014-05-27 18:15
  • 30160

KafkaOffsetMonitor监控工具的安装与使用

KafkaOffsetMonitor是有由Kafka开源社区提供的一款Web管理界面,这个应用程序用来实时监控Kafka服务的Consumer以及它们所在的Partition中的Offset,你可以通过浏览当前的消费者组,并且每个Topic的所有Partition的消费情况都可以观看的一清二楚。它让...
  • levy_cui
  • levy_cui
  • 2016-08-22 18:08
  • 742

六. KafkaOffsetMonitor的安装和使用

Topicslive topic/consumer mapping cluster view  下载地址 https://github.com/quantifind/KafkaOffsetMonitor/releases/download/v0.2.0/Kaf...
  • ZhongGuoZhiChuang
  • ZhongGuoZhiChuang
  • 2017-03-02 10:25
  • 880

KafkaOffsetMonitor Kafka实战-KafkaOffsetMonitor

1.概述   前面给大家介绍了Kafka的背景以及一些应用场景,并附带上演示了Kafka的简单示例。然后,在开发的过程当中,我们会发现一些问题,那就是消息的监控情况。虽然,在启动Kafka的相关服务后,我们生产消息和消费消息会在终端控制台显示这些记录信息,但是,这样始终不够友好,而且,在实际开发中...
  • xuguokun1986
  • xuguokun1986
  • 2017-08-30 08:11
  • 529

【Linux】ubuntu下kafka集群环境搭建

1.下载kafka正式版,本文使用kafka_2.10-0.8.2.2(在此特别说明下,kafka_2.9.2-0.8.1.1.tgz由于版本相对较低的问题,好多.sh文件时缺少的,比如kafka-topics.sh,所以建议大家在安装的时候不要使用太老的版本,问题较多,并且启动kafka-serv...
  • catshitone
  • catshitone
  • 2016-01-05 14:32
  • 2889
    个人资料
    • 访问:207036次
    • 积分:2797
    • 等级:
    • 排名:第15165名
    • 原创:90篇
    • 转载:18篇
    • 译文:1篇
    • 评论:38条
    文章分类
    最新评论