kafka 监控工具--CMAK

CMAK (previously known as Kafka Manager) is a tool for managing Apache Kafka clusters. See below for details about the name change 摘自cmak gtihub

大意就是cmak 旧称为大家熟悉的kafka-manager,同样也是管理Apache Kafka集群的工具。为啥改名呢?主要是因为误用了 Apache 的商标,所以才从 kafka-manager 改名为 CMAK。安装方式大同小异,仅有几处需要注意的地方。话不多说,下面开干。

  1. 首先,我们从github下载安装包,最新版本是3.0.0.6,一般来说下载编译好的zip包就行,如果有特殊需求,可以自己下载源码编译安装

  1. 安装要求

cmak至少要jdk11+以上,本文使用的是jdk17.0.5版本

kafka至少是0.8版本以上,本文使用的是kafka-2.1.1

  1. 创建cmak用户,解压安装包,授权,修改配置文件

修改第28行的zk配置,上面的kafka-manager配置后面会废弃

  1. 启动服务

这边推荐用systemd来管理启动

vi /usr/lib/systemd/system/cmak.service

[Unit]

Description=Kafka Manager ( CMAK )

Requires=network.target

After=network.target

[Service]

Type=simple

User=cmak

Group=cmak

WorkingDirectory=/code/cmak

ExecStart=/code/cmak/bin/cmak -Dpidfile.path=/code/cmak/cmak.pid -Dhttp.port=8080

#这边-Dhttp.port指定服务端口是8080,默认端口是9000

ExecStop=kill $(cat /lingtian/code/cmak/cmak.pid)

Restart=always

[Install]

WantedBy=multi-user.target

systemctl daemon-reload && systemctl start cmak

  1. 启动后发现前端加载异常,服务有报错日志:

查找资料发现,是jdk17的兼容性问题,需要增加启动参数,修改systemd的配置如下:

ExecStart后面增加-J--add-opens=java.base/sun.net.www.protocol.file=ALL-UNNAMED -J--add-exports=java.base/sun.net.www.protocol.file=ALL-UNNAMED

ExecStart=/code/cmak/bin/cmak -Dpidfile.path=/code/cmak/cmak.pid -Dhttp.port=8080 -J--add-opens=java.base/sun.net.www.protocol.file=ALL-UNNAMED -J--add-exports=java.base/sun.net.www.protocol.file=ALL-UNNAMED

  1. 再次启动服务,进入页面正常。

  1. 添加集群,操作和kafka-manager一样:

但是,在保存的时候有报错:

提示/kafka-manager/mutex报错,查资料后发现,2种解决方案,有说zk版本过低需要升级,这个比较麻烦,就直接否决了。第二种是手动创建zk目录,包着试试看的态度,操作了一下:

ls /kafka-manager

create /kafka-manager/mutex ""

create /kafka-manager/mutex/locks ""

create /kafka-manager/mutex/leases ""

ls /kafka-manager

重新添加集群后,成功了!

总结下,这边遇到的就2个问题:

  1. 静态资源问题

! @807hb0egl - Internal server error, for (GET) [/assets/stylesheets/index.min.css] ->

play.api.UnexpectedException: Unexpected exception[RuntimeException: java.lang.IllegalAccessError: class p

lay.utils.Resources$ (in unnamed module @0x93c2679) cannot access class sun.net.www.protocol.file.FileURLC

onnection (in module java.base) because module java.base does not export sun.net.www.protocol.file to unna

med module @0x93c2679]

2.zk缺少目录的问题

  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
kafka-connect-transform-kryptonite 是 Kafka Connect 的一个转换器插件。Kafka Connect 是一个可扩展的分布式数据集成工具,可用于在 Apache Kafka 和外部系统之间进行可靠和高效的数据流传输。而 Kafka Connect 转换器是用于对数据进行转换、过滤或处理的插件。 Kafka Connect 是一个开源的分布式数据集成框架,用于连接和处理来自各种数据源的数据,例如数据库、消息队列和文件系统等。它提供了一个统一的、可扩展的架构,允许用户将数据从多个来源导入到 Kafka 中,并将数据导出到多个目标系统。这为数据集成提供了更加灵活和可靠的方式,且能够满足各种实时数据处理的需求。 Kafka Connect 的一个关键特性是插件化的架构,使得用户可以根据自己的需求,选择和配置合适的插件。其中,kafka-connect-transform-kryptonite 插件就是其中之一。Kryptonite 可以理解为一种“解除”或“削弱”转换器,它可能采用一些特定的规则或算法,对输入的数据进行加工、转换或过滤。 使用 kafka-connect-transform-kryptonite 插件,我们可以根据具体的业务需求,对 Kafka 中的消息进行处理。例如,我们可以通过 Kryptonite 转换器,将消息中的某些字段进行加密,以保护敏感数据的安全;或者根据一些规则,对消息进行过滤和筛选,只保留我们关心的数据。 总之,kafka-connect-transform-kryptonite 是 Kafka Connect 提供的一个转换器插件,可以用于对数据进行加工、转换和过滤。通过这个插件,我们可以根据业务需求对 Kafka 中的消息进行定制化处理,以满足不同场景下的数据集成和处理需求。

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值