这就是你找的kafka-manager

        Kafka作为分布式消息系统,以其轻量级、可扩展、高通吐等特点受到许多程序员青睐,我最近在项目中也用到了Kafka作为中间件进行数据交互。用几天了一直没时间对其进行监控和运行管理。今天抽空学习了一下,网上提供的方案主要是以下四种:

                Kafka Web Console

                KafkaOffsetMonitor

                Kafka Manager

                LogiKM(Logi-KafkaManager)

        由于时间有限,以上四种方法我暂时试用了 kafka-manager 和 LogiKM两种,因为前者是大家都较为推荐的,后者在知乎上,csdn上看到好几次有人推荐,就做个尝试。

        kafka-manager (现用名CMAK)由雅虎于2015年1月开始开源的kafka集群管理工具,据说由于误用了apache的商标,被迫改名的。 Github地址:yahoo/CMAK: CMAK is a tool for managing Apache Kafka clusters (github.com)

        LogiKM 由滴滴出行于2020年5月开始部分开源的kafka集群管理工具,其开源版包含了大部分集群管理运维相关功能。Github地址:didi/LogiKM: 一站式Apache Kafka集群指标监控与运维管控平台 (github.com)

对比两者在github上的信息

        CMAK应该是比较成熟的完整的运维监控工具,经过这么多年的积累,star数已经达到了10.3k,关注量还是比较大的,但是从2020年开始几乎没有代码提交,issues很多处于open状态较长时间,活跃度相对不高。个人试用体验还不错,一上来各功能都是跟着感觉操作就完事了,快速上手也不难。

        LogiKM,虽然开源时间不长,但是star数也已经达到了2.9k,有一定的用户基础,活跃度相对较高,照这个趋势,即便现在开源功能不够完善一定也会越来越好,说不定渐渐成为主流也未可知。一上来感觉界面风格确实好看,功能也全,不过过程中有一点不是很喜欢,有很多感觉就像闭源的功能菜单,一看见都是想收费的就上头,所以整体上来说还不喜欢。

        Kafka web console 有很多人说,该工具存在和Kafka生产者、消费者、ZooKeeper建立大量连接,从而导致网络阻塞的现象,生产环境下慎用。具体现在是否还存在暂且不论,看界面功能还挺全,后面会尝试研究。

        KafkaOffsetMonitor 该工具是以jar包形式运行的项目,部署简单,使用方便,不过只有监控功能,如果只需要监控功能,推荐使用。

下面介绍一下CMAK和LogiKM的部署及试用体验。

CMAK

1,下载:只是使用的话直接下载编译好的二进制文件即可,使用源码自行编译的方法这里不做说明。

        直接从github下载,地址:Release 3.0.0.5 · yahoo/CMAK (github.com);但是如果个人没有加速下载的方式,下载就太慢了,可以从下面的地址下载,速度还不错,推荐!地址:CMAK(kafka manager)安装包下载 | Wolfogre's Blog

2,解压到你的安装目录

        unzip cmak-3.0.0.4.zip

        无法使用unzip可以参考 linux解压zip文件,_babyLetsGo的博客-CSDN博客 解决

3,修改配置文件,conf目录中打开 application.conf文件,两个zkhosts改成自己的地址。

4,启动命令

        切换到解压后目录,bin/cmak 即可启动。

5,java环境必须是jdk11,版本太低会报错如下:

        java.lang.UnsupportedClassVersionError: controllers/routes has been compiled by a more recent version of the Java Runtime (class file version 55.0), this version of the Java Runtime only recognizes class file versions up to 52.0

解决方法:

        下载安装openjdk11,可以直接从官方网站下载,操作稍显麻烦,且下载速度很慢,这里提供华为镜像服务提供站地址,从此出下载方便快捷。

华为开源镜像站下载地址:https://repo.huaweicloud.com/openjdk/11.0.2/openjdk-11.0.2_linux-x64_bin.tar.gz

6,指定java环境启动cmak

        bin/cmak  -java-home /usr/local/jdk-11.0.2

测试没问题后后续可以使用后台启动方式。

        nohup bin/cmak  -java-home /usr/local/jdk-11.0.2 &

7,默认访问端口是9000,启动成功后即可通过 IP:9000地址访问(小提示:云服务器需要安全组策略开放端口,否则访问会被拦截)。

开始使用要添加集群,然后就可以对集群进行管理了。

LogiKM

快速体验地址:http://117.51.150.133:8080 账号密码 admin/admin

1. 下载,直接从github下载就行,这个还好,不算太慢。

https://github.com/didi/LogiKM/releases/download/v2.4.2/kafka-manager-2.4.2.tar.gz

2. 解压。

tar -zxvf kafka-manager-2.4.2.tar.gz

3. Mysql初始化,切换到挤压后的目录,输入以下命令。

mysql -u root -p -h XXX.XXX.XXX.XXX -P XXXX < ./create_mysql_table.sql

说明:-h mysql服务主机ip,-P mysql服务端口。然后在输入密码就可以了

4. 修改配置

修改application.yml,主要修改mysql配置,默认访问端口为8080,如果使用中也可修改。

5. 启动

java -jar kafka-manager.jar --spring.config.location=./application.yml

测试没问题后后续可以使用后台启动方式。

nohup java -jar kafka-manager.jar --spring.config.location=./application.yml >/dev/null 2>&1 &

说明:>/dev/null 将标准输出重定向到无底洞,2>&1 将错误输出重定向到标准输出。

6. 访问http://服务IP:端口,输入帐号及密码(默认admin/admin)进行登录。

  • 4
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值