Kafka 监控 Kafka Eagle 图形化版本

最新推荐文章于 2024-08-03 09:41:04 发布
最新推荐文章于 2024-08-03 09:41:04 发布
阅读量974 收藏 4
点赞数
分类专栏： kafka 文章标签： kafka监控
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_40816738/article/details/104378922
版权

在这里插入图片描述

文章目录

一、Kafka Eagle 下载、编译流程

1. Kafka Eagle下载

wget https://github.com/smartloli/kafka-eagle/archive/v1.4.3.tar.gz

2. 解压Kafka Eagle

tar -zxf v1.4.3.tar.gz

3. 进入解压的目录

cd kafka-eagle-1.4.3/

在这里插入图片描述

4. 编译项目

前提：Centos7 安装maven，如果没有安装，请点击链接，先安装maven。

5. 添加编译环境

不添加会抛出以下错误

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.1:compile (default-compile) on project kafka-eagle-common: Compilation failure: Compilation failure: 
[ERROR] /usr/local/src/kafka/kafka-eagle/kafka-eagle-common/src/main/java/org/smartloli/kafka/eagle/common/util/KafkaZKPoolUtils.java:[44,84] diamond operator is not supported in -source 1.5
[ERROR]   (use -source 7 or higher to enable diamond operator)

按照大神的说法，修改pom.xml文件，在最后一行之前添加以下内容：

  <build>
    <plugins>
      <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-compiler-plugin</artifactId>
        <version>3.2</version>
        <configuration>
          <source>1.8</source>
          <target>1.8</target>
        </configuration>
      </plugin>
    </plugins>
  </build>

6. 运行脚本编译项目

./build.sh

在这里插入图片描述
编译后成功的截图：
在这里插入图片描述

二、Kafka Eagle 正式配置流程

2.1. 进入编译获得web目录

cd /app/software/kafka-eagle-1.4.3/kafka-eagle-web/target

在这里插入图片描述

2.2. 将编译后的tar解压到/app目录

tar -zxvf kafka-eagle-web-1.4.3-bin.tar.gz -C /app/

在这里插入图片描述

2.3. 在/app目录下面查看

在这里插入图片描述

2.4. 配置文件总览简述

cd /app/kafka-eagle-web-1.4.3/conf
vim system-config.properties

######################################
#设置Kafka多集群，这里只需要设置Zookeeper,
# 系统会自动识别Kafka Broker
# multi zookeeper & kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=ly-01:2181,ly-02:2181,ly-03:2181

######################################
#Zookeeper线程池最大连接数
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# Kafka Eagle的页面访问端口
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# 存储消费信息的类型，一般在0.9版本之前，消费
# 信息会默认存储在Zookeeper中，所以存储类型
# 设置zookeeper即可，如果是在0.10版本之后，
# 消费者信息默认存储在Kafka中，所以存储类型
# 设置为kafka。而且，在使用消费者API时，尽量
# 客户端Kafka API版本和Kafka服务端的版本保持
# 一致性。
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka

######################################
# 开启性能监控，数据默认保留30天
# kafka metrics, 30 days by default
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=30


######################################
# KSQL查询Topic数据默认是最新的5000条，如果
# 在使用KSQL查询的过程中出现异常，可以将下面
# 的false属性修改为true，Kafka Eagle会在
# 系统中自动修复错误。
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=false

######################################
# delete kafka topic token
######################################
# 删除Kafka Topic时需要输入删除密钥，由
# 管理员执行
######################################
kafka.eagle.topic.token=keadmin
######################################
# 开启Kafka ACL特性，例如SCRAM或者PLAIN，
# 一般生产环境会使用SCRAM来做ACL，应为SCRAM
# 可以动态创建和管理用户。
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.kafka.eagle.sasl.client.id=
cluster1.kafka.eagle.sasl.cgroup.enable=false
cluster1.kafka.eagle.sasl.cgroup.topics=

cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
cluster2.kafka.eagle.sasl.client.id=
cluster2.kafka.eagle.sasl.cgroup.enable=false
cluster2.kafka.eagle.sasl.cgroup.topics=

######################################
# 存储Kafka Eagle元数据信息的数据库，目前支持
# MySQL和Sqlite，默认使用Sqlite进行存储
# kafka sqlite jdbc driver address
######################################
#kafka.eagle.driver=org.sqlite.JDBC
#kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
#kafka.eagle.username=root
#kafka.eagle.password=www.kafka-eagle.org

######################################
# 存储Kafka Eagle元数据信息的数据库，目前支持
# MySQL和Sqlite，默认使用Sqlite进行存储
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root

2.5. 配置文件修改

cd /app/kafka-eagle-web-1.4.3/conf
vim system-config.properties

第1处 第4行
配置zk集群信息

kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=ly-01:2181,ly-02:2181,ly-03:2181

在这里插入图片描述
修改第2处 第20行
配置zk集群信息

cluster1.kafka.eagle.offset.storage=kafka

在这里插入图片描述
修改第3处 第30行
开启仪表盘显示

kafka.eagle.metrics.charts=true

在这里插入图片描述
修改第4处 注释第67行 至70行
关闭 默认使用Sqlite进行存储
开启存储Kafka Eagle元数据信息的MySQL数据库，

kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroD    ateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=root

在这里插入图片描述

三、修改kafka配置

3.1. 修改 kafka 启动命令

修改 kafka-server-start.sh 命令中

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

为

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m
-XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -
XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
export JMX_PORT="9999"
#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi

在这里插入图片描述
注意：修改之后在启动 Kafka 之前要分发或者同步到其他2个节点

3.2. 同步配置文件到ly-02 ly-03节点

scp /app/kafka/bin/kafka-server-start.sh root@ly-02:/app/kafka/bin
scp /app/kafka/bin/kafka-server-start.sh root@ly-03:/app/kafka/bin

3.3. 启动zk集群脚本

./zkmanage.sh start

脚本内容：

#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1ing....."
ssh $host "source /etc/profile;/app/zookeeper-3.5.7/bin/zkServer.sh $1"
done

sleep 2
for host in ly-01 ly-02 ly-03
do
ssh $host "source /etc/profile;/app/zookeeper-3.5.7/bin/zkServer.sh status"
done

在这里插入图片描述
附上：zk停止命令

./zkmanage.sh stop

3.4. 启动kafka集群脚本

./kk-start.sh

在这里插入图片描述
kafka启动脚本内容：

#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1 kafka starting....."
ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-start.sh -daemon /app/kafka/config/server.properties"
done

kafka 关闭集群 脚本内容：

#!/bin/bash
for host in ly-01 ly-02 ly-03
do
echo "${host}:$1 kafka stopping....."
ssh $host "source /etc/profile;/app/kafka/bin/kafka-server-stop.sh /app/kafka/config/server.properties"
done

3.6. 启动kafka eagle

cd /app/kafka-eagle-web-1.4.3/bin
./ke.sh start

在这里插入图片描述
注：低版本号好像需要赋予权限

chmod u+x ke.sh

运行脚本后截图
在这里插入图片描述

四、登录web页面

4.1. 浏览器访问

http://192.168.43.32:8048/ke
账号/密码:admin/123456

4.2. 登录

在这里插入图片描述

4.2. 登录后页面

在这里插入图片描述
在这里插入图片描述

gblfy
关注
专栏目录
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你
m0_64821673的博客
01-11 2002
Kafka是当下非常流行的消息中间件，据官网透露，已有成千上万的公司在使用它。最近实践了一波Kafka，确实很好很强大。今天我们来从三个方面学习下Kafka：Kafaka在Linux下的安装，Kafka的可视化工具，Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka，掌握这个流行的消息中间件！ Kafka简介 Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发布
【强烈推荐一款吊炸天的 Kafka 图形化工具 Eagle】
wdj_yyds的博客
06-27 1269
Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发布订阅模式的消息引擎系统。Kafka具有以下特性： 解压完成后进入到解压目录： 虽然有消息称Kafka即将移除Zookeeper，但是在Kafka最新版本中尚未移除，所以启动Kafka前还是需要先启动Zookeeper； 由于目前Kafka是部署在Linux服务器上的，外网如果想要访问，需要修改Kafka的
kafka-eagle版本
11-06
包括kafka-eagle1.1.0和1.1.3两个版本，由于官网下载慢，顾提供
Kafka Eagle的安装部署
mcdull213的博客
04-22 673
一、简介 Kafka Eagle是一个用于监控和管理Kafka的系统，可以很方便的管理和可视化Kafka集群的一些信息，例如Broker详情、性能指标趋势、Topic集合、消费者信息等 官网：http://www.kafka-eagle.org/ 下载链接：https://github.com/smartloli/kafka-eagle-bin/archive/v1.4.6.tar.gz...
kafka监控工具之Kafka-Eagle部署与使用
最新发布
taogumo的专栏
08-03 588
Kafka-Eagle部署与使用
史上最轻便好用的 kafka 可视化图形界面工具，开源了！
Java笔记虾
01-20 4321
戳上方蓝字“Java笔记虾”关注！介绍史上最轻便好用的kafka ui界面客户端工具，可以在生产消息、消费消息、管理topic、管理group;可以支持管理多个kafka集群部署简便，可以一键启动，不需要配置数据库、不需要搭建web容器支持zookeeper ui界面化操作；支持多环境管理支持redis ui界面化操作；支持多环境管理支持权限控制，可以自定义不同环境的新增、修改、删除权限；默认分配...
真魔法！图形化管理 Kafka 超轻量自动化工具 Kafka Magic
技术宅，专注云原生、Go、Linux、Java等技术分享，原创文章、效率工具、实战解决方案！关注我，了解互联网动态，学 IT 不迷路
07-26 2242
是一个用于处理ApacheKafka集群的GUI工具。它可以查找和显示消息、在Topic之间转换和移动消息、查看和更新模式、管理Topic以及自动化复杂任务。KafkaMagic通过方便的用户界面促进Topic管理、QA和集成测试。KafkaMagicCommunityEdition可免费供个人和企业使用。......
Linux安装Kafka图形化界面
一起coding，一起嗨。
07-29 1325
如果你需要一个可视化的界面来管理Kafka，可以考虑安装一些第三方的Kafka管理工具，例如Kafdrop、Kafka Manager或Conduktor等。这些工具可以提供更直观、易用的界面来监控和管理Kafka集群。一个开源的轻量级Kafka管理工具，提供了Web界面来可视化查看Kafka集群的状态、主题、分区等信息。一个开源的Kafka集群管理工具，提供了Web界面来监控和管理Kafka集群。Apache Kafka本身是一个分布式的消息系统，它并没有官方提供的图形界面。
kafka eagle 可视化工具压缩包
06-20
6. **图形界面**：采用直观的图形化界面，使得操作更加简便，降低使用门槛。 在压缩包 `kafka-eagle-bin-2.1.0` 中，我们可以找到以下组件： - **bin** 目录：包含启动和停止 Kafka Eagle 服务的脚本，如 `start....
kafka-eagle监控
weixin_45805888的博客
06-27 675
Kafka 图形化工具 kafka-eagle
kafka eagle 1.4.8安装包kafka eagle 1.4.8
07-02
Kafka Eagle是一款由国内开发者智能洛里（smartloli）开源的Kafka监控系统，它为Apache Kafka提供了一种直观且功能丰富的管理界面，帮助用户更好地监控、管理和优化Kafka集群。在1.4.8版本中，该系统继续提升了用户...
kafka-web-view.zip 简易 kafka 消息可视化监控界面
09-11
公司每上线一次打点需求，均需要数据组看下数据，这样效率特别低，数组组在被占用的时间里面，只能乖乖的配合打点测试，监控日志服务器的输出或者卡夫卡消息，而日志服务器和卡夫卡的机器是数据组的，涉及到权限，没法给其他部门或者产品用，因此急需一个kafka可视化界面来测试打点消息。
tsujun:KSQL的另一个Web UI
04-27
俊俊 Tsūjun又是另一个Web UI的 。 支持KSQL语法 选择 （列表|显示）查询 （列表|显示）流 （列表|显示）表 *将来的版本将支持其他语法 经过测试的浏览器 苹果浏览器 Chrome合金 火狐浏览器 警告 该应用程序使用和Fetch API的Readable流。 但是在Firefox中，默认情况下禁用此功能。 可以在about:config启用它。 参考： 如何设置本地开发环境 安装Node.js 安装纱 $ npm install -g yarn 安装依赖JavaScript库 $ yarnInstall.sh 如何在本地启动 使用环境变量KSQL_SERVER指定您的KSQL服务器 如果未设置环境变量KSQL_SERVER ，它将连接到http://localhost:8080 用Gradle启动 $ KSQL_SERVER=http://your_ksql_se
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你！
m0_57227221的博客
07-14 7477
摘要 Kafka是当下非常流行的消息中间件，据官网透露，已有成千上万的公司在使用它。最近实践了一波Kafka，确实很好很强大。今天我们来从三个方面学习下Kafka：Kafaka在Linux下的安装，Kafka的可视化工具，Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka，掌握这个流行的消息中间件！ Kafka简介 Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发
03、Kafka ------ CMAK（Kafka 图形界面管理工具） 下载、安装、启动
Java 领域技术分享
01-04 1733
03、Kafka ------ CMAK（Kafka 图形界面管理工具） 下载、安装、启动
Kafka-Eagle 2.0.5安装
qq_45360515的博客
11-25 816
kafka-eagle是一个由国内团队开发的开源的可视化和管理软件。它可以同时监控多个集群、监控 Kafka 集群中 Topic 被消费的情况，并且包含 Kafka Manager 的相关功能等。可以说是既可以管理集群，又可以监控kafka的性能和消费情况，同时又支持sql查询。
使用kafka-eagle监控kafka
敲天
07-27 4744
kafka-eagle(/'iːg(ə)l/)是一款简单高效的监控系统，用以监控kafka的偏移量、元数据等信息，它还提供了邮件、钉钉、微信报警功能。本篇假设已经存在一个可用的kafka集群，并介绍kafka-eagle搭建与使用。 官网：https://www.kafka-eagle.org/ github：https://github.com/smartloli/kafka-eagle 前...
Kafka 监控 Kafka Eagle 精简版本
Gblfy_Blog
02-18 412
文章目录一、Kafka Eagle 下载、编译流程1. Kafka Eagle下载2. 解压Kafka Eagle3. 进入解压的目录4. 编译项目5. 添加编译环境6. 运行脚本编译项目二、Kafka Eagle 正式配置流程2.1. 进入编译获得web目录2.2. 将编译后的tar解压到/app目录2.3. 在/app目录下面查看2.4. 配置文件修改三、修改kafka配置3.1. 修改 k...
Kafka-Eagle监控工具：安装与使用指南
"本文主要介绍了Kafka监控工具Kafka-Eagle的使用，包括其简介、部署和验证。Kafka-Eagle是一款开源免费的Kafka集群监控工具，能够监控offset、lag变化、partition分布和owner等关键信息。文章还提到了开启Kafka JMX...
评论 2
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

gblfy

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值