开源监控 kafka-eagle2.0.8与华为C80 C651kafka集群对接监控

咖啡F

已于 2022-07-04 12:36:13 修改

阅读量2.4k

点赞数 1

分类专栏： hadoop 文章标签：数据库 kafka kafka-eagle kafka监控

于 2021-11-30 22:02:59 首次发布

本文链接：https://blog.csdn.net/weixin_43697701/article/details/121643867

版权

hadoop 专栏收录该内容

37 篇文章 2 订阅

订阅专栏

本文档详细介绍了如何下载并安装Kafka Eagle，包括环境变量配置、系统配置文件设置、JMX连接以及针对华为集群的特殊步骤。还提到了启动方法以及如何修改和替换jar包。Kafka Eagle是一款用于监控和管理Kafka的工具，适用于非安全和安全集群环境。

摘要由CSDN通过智能技术生成

1、下载kafka-eagle-bin-2.0.8.tar.gz

解压得到efak-web-2.0.8-bin.tar.gz在解压

2、配置环境变量

vim /etc/profile
export KE_HOME=/usr/kafka_eagle/efak-web-2.0.8
export PATH=$PATH:$KE_HOME/bin

##华为的话安装客户端后会有java环境，加下面这个就行
source /opt/kafkaclient/bigdata_env

##开源或其他的节点上没有java的话需要安装JDK，此处不赘述

3、配置文件system-config.properties

efak.zk.cluster.alias=cluster1
cluster1.zk.list=10.1.1.1:24002,10.1.1.2:24002,10.1.1.3:24002/kafka  ##	这个后缀注意
efak.webui.port=8048	##端口可改
cluster1.efak.jmx.uri=service:jmx:rmi:///jndi/rmi://%s/kafka	##这里注意华为的是这个


这里的话可以用mysql也可以用这个本地库
efak.driver=org.sqlite.JDBC
#efak.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
efak.url=jdbc:sqlite:/data/xxx/db/ke.db
efak.username=root
efak.password=www.kafka-eagle.org

4、华为C80集群直接可以获取jmx，C651版本以上就需要修改参数

KAFKA_JMX_IP	
选为${BROKER_IP

在这里插入图片描述

5、这里都是非安全版本，安全版本需要修改zookeeper jar包

我这里是修改了集群的zookeeper链接
enforce.auth.enabled 改成false了，即客户端连接不用认证（认证没搞定迂回作业了）

在这里插入图片描述

6、启动即可页面ip：8048 admin/3456

7、如果要修改jar包

/usr/kafka_eagle/efak-web-2.0.8/kms/webapps目录下，
ke.war需要 
1)jar xvf ke.war
2)cd WEB-INF/lib  下替换包
3） jar uvf ke.war WEB-INF/lib/xxx.jar

因为每次重启都会从这里重新解压，所以直接目录下替换jar没用