大数据学习笔记——Kafka Offset Monitor监控及简单的Kafka项目搭建

最新推荐文章于 2024-08-18 10:15:23 发布

海上的程序猿

最新推荐文章于 2024-08-18 10:15:23 发布

阅读量1.6k

点赞数 1

分类专栏： Big Data 文章标签： Kafka 大数据

本文链接：https://blog.csdn.net/u014487025/article/details/101207026

版权

本文介绍了Kafka Offset Monitor的用途，如何下载安装，以及配置启动的关键参数。通过监控页面展示了消费者组、主题和消费者的偏移量信息。此外，还分享了一个简单的Kafka生产者和消费者代码示例，帮助理解Kafka的基础操作。

摘要由CSDN通过智能技术生成

Kafka Offset Monitor监控

kafka Offset Monitor用来监控你的Kafka消费者和他们的偏移量。你能够看到每一个消费者组在它们正在消费的每一个topic组的每一个topic的偏移量。有助于理解消费的速度以及日志增长的速度。
下载地址https://github.com/BangpengGao/kafka-offset-monitor。

安装
github中可以选择下载源代码自行进行编译或直接在releases中下载已经编译好的程序jar包。
PS:当采用已编译好的程序jar包时，要首先修改其中的前端页面代码，因为其中引入了google的部分依赖。需要将offsetapp/index.html中的

    <script src="//ajax.googleapis.com/ajax/libs/angularjs/1.2.9/angular.js"></script>
    <script src="//ajax.googleapis.com/ajax/libs/angularjs/1.2.9/angular-route.js"></script>
    <script src="//ajax.googleapis.com/ajax/libs/angularjs/1.2.9/angular-resource.js"></script>

修改为

    <script src="//cdn.static.runoob.com/libs/angular.js/1.4.6/angular.min.js"></script>
    <script src="//cdn.static.runoob.com/libs/angular.js/1.4.6/angular-route.js"></script>
    <script src="//cdn.static.runoob.com/libs/angular.js/1.4.6/angular-resource.js"></script>

启动和配置

    #!/bin/bash
    java -Xms512M -Xmx512M -Xss1024K -XX:PermSize=256m -XX:MaxPermSize=512m\
    	-cp KafkaOffsetMonitor-assembly-0.3.0-SNAPSHOT.jar com.quantifind.kafka.offsetapp.OffsetGetterWeb\
    	--offsetStorage kafka\
    	--zk 127.0.0.1:2181\
    	--port 9001\
    	--dbName kafka\
    	--refresh 10.seconds\
    	--retain 7.days 1>/export/logs/kafkamonitor/stdout.log 2>/export/logs/kafkamonitor/stderr.log &

参数说明：

–offsetStorage，可选参数为zookeeper、kafka、storm，默认是zookeeper。
PS：当前kafka将偏移量存储在kafka中，如果选择Zookeeper，将监测不到任何数据
–zk 集群服务器IP，多个采用英文逗号“,”隔开
–port 对外开发的端口号，用于监控界面的访问
–dbName 监控数据存储地址，默认当前路径下的offsetapp
–refresh 自动刷新间隔
–retain 日志保持时间及日志路径设置

查看
监控首页与Consumer Groups界面相同

选择一个Consumer group，点进去之后的界面
$[外链图片转存失败(img-3EFlQj8d-1569222837678)(C:\Users\19026282\AppData\Roaming\Typora\typora-user-images\1569222376430.png)]$
Topics List界面
$[外链图片转存失败(img-uAGPotSX-1569222837679)(C:\Users\19026282\AppData\Roaming\Typora\typora-user-images\1569222247034.png)]$
选择一个Topic，点击之后的界面
$[外链图片转存失败(img-VKfvAkg7-1569222837680)(C:\Users\19026282\AppData\Roaming\Typora\typora-user-images\1569222416720.png)]$
点击其中的已激活的消费者名称，进入如下界面
$[外链图片转存失败(img-LFZOOvN7-1569222837681)(C:\Users\19026282\AppData\Roaming\Typora\typora-user-images\1569222516302.png)]$
通过Visualizations下的Active Topic Consumers进入已激活的消费者统计界面，能详细看出，每一个Topic对应的激活的消费者组名称。
$[外链图片转存失败(img-X6Z3waig-1569222837682)(C:\Users\19026282\AppData\Roaming\Typora\typora-user-images\1569222741112.png)]$

Maven配置

因为这只是一个简单的测试项目，Maven配置十分简单。以Spring Boot为基础，引入log模块lombok，spring-kafka以及spring-kafka-test框架。具体情况，请见下发代码块：
```
<?xml version="1.0" encoding="UTF-8"?>
<project xmlns="http://maven.apache.org/POM/4.0.0" 
```