kafka监控工具之Kafka-Eagle部署与使用

官网资料

EFAK

https://docs.kafka-eagle.org/

前置部署

Kafka集群部署与使用-CSDN博客

Linux环境下部署MySQL8数据库-CSDN博客

安装步骤

1、上传解压

cd /usr/local/soft/

tar -zxvf kafka-eagle-web-1.3.7-bin.tar.gz

2、修改环境变量

vi /etc/profile

系统环境变量添加内容:

# kafka监控
export KE_HOME=/usr/local/soft/kafka-eagle-web-1.3.7
export PATH=$PATH:$KE_HOME/bin

使系统环境变量生效:

source /etc/profile

3、部署MySQL数据库

参考Linux环境下部署MySQL8数据库-CSDN博客 

在数据库中创建名为ke的数据库

4、配置参数

cd /usr/local/soft/kafka-eagle-web-1.3.7/conf/

修改system-config.properties文件,修改内容如下

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hadoop100:2181,hadoop101:2181,hadoop102:2181

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka

######################################
# enable kafka metrics
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.sql.fix.error=false

######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000

######################################
# alarm email configure
######################################
kafka.eagle.mail.enable=false
kafka.eagle.mail.sa=alert_sa@163.com
kafka.eagle.mail.username=alert_sa@163.com
kafka.eagle.mail.password=mqslimczkdqabbbh
kafka.eagle.mail.server.host=smtp.163.com
kafka.eagle.mail.server.port=25

######################################
# alarm im configure
######################################
#kafka.eagle.im.dingding.enable=true
#kafka.eagle.im.dingding.url=https://oapi.dingtalk.com/robot/send?access_token=

#kafka.eagle.im.wechat.enable=true
#kafka.eagle.im.wechat.token=https://qyapi.weixin.qq.com/cgi-bin/gettoken?corpid=xxx&corpsecret=xxx
#kafka.eagle.im.wechat.url=https://qyapi.weixin.qq.com/cgi-bin/message/send?access_token=
#kafka.eagle.im.wechat.touser=
#kafka.eagle.im.wechat.toparty=
#kafka.eagle.im.wechat.totag=
#kafka.eagle.im.wechat.agentid=

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=PLAIN
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="kafka-eagle";

cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="admin" password="kafka-eagle";

######################################
# kafka jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://hadoop100:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root123

核心修改内容(集中在前五行和后五行)

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hadoop100:2181,hadoop101:2181,hadoop102:2181

kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://hadoop100:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root123

5、启动与关闭

给ke.sh赋予可执行权限

cd/usr/local/soft/kafka-eagle-web-1.3.7/bin/
chmod +x ke.sh

启动与查看 

ke.sh start
ke.sh status
ke.sh stop

自动生成用户名和密码,如上图 admin  123456

注:

ke命令如下,可以直接输入ke.sh查看

ke.sh {start|stop|restart|status|stats|find|gc|jdk}
 

6、查看

浏览器输入 http://192.168.1.100:8048/ke,用户名和密码启动的时候已生成

参考资料

https://blog.51cto.com/u_11529070/9210756

百度安全验证

  • 6
    点赞
  • 5
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
要在kafka中配置kafka-eagle使用kraft协议,您需要进行以下步骤: 1. 首先,确保您已经安装并准备好了Kafka环境。关闭Kafka集群,您可以使用命令`kf.sh stop`。 2. 在`/opt/module/kafka/bin/kafka-server-start.sh`文件中修改配置。您可以使用命令`vim bin/kafka-server-start.sh`进行编辑。根据引用,您需要在启动Kafka之前分发到其他节点。 3. 确保您已经安装了MySQL作为kafka-eagle的持久化手段。这是监控工具所需的。可以参考引用中的说明来完成这一步骤。 4. 下一步是安装kafka-eaglekafka-eagle是一个开源的可视化和管理软件,可以用于监控多个Kafka集群、监控 Topic 的消费情况,并提供了Kafka Manager的相关功能。您可以参考引用中的说明来了解更多关于kafka-eagle的信息。 5. 配置kafka-eagle使用kraft协议。在kafka-eagle的配置文件中,您需要指定kafka集群的地址和端口,并设置适当的协议参数以兼容kraft协议。具体的配置步骤可以参考kafka-eagle的官方文档或者引用中的说明。 请注意,配置kafka-eagle可能会有一些特定的步骤和参数,具体取决于您的环境和需求。因此,建议您参考官方文档和引用中的说明来获得更详细和准确的配置信息。<span class="em">1</span><span class="em">2</span><span class="em">3</span> #### 引用[.reference_title] - *1* *2* [Day547.Kafka-Eagle监控&Kraft模式](https://blog.csdn.net/qq_43284469/article/details/123194372)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] - *3* [kafka-eagle-web-2.0.2-bin.tar.gz](https://download.csdn.net/download/as4589sd/12897706)[target="_blank" data-report-click={"spm":"1018.2226.3001.9630","extra":{"utm_source":"vip_chatgpt_common_search_pc_result","utm_medium":"distribute.pc_search_result.none-task-cask-2~all~insert_cask~default-1-null.142^v93^chatsearchT3_2"}}] [.reference_item style="max-width: 50%"] [ .reference_list ]
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

数智侠

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值