大数据平台分布式搭建 - Kafka之监测Kafka-Eagle部署

最新推荐文章于 2024-05-01 09:48:51 发布
最新推荐文章于 2024-05-01 09:48:51 发布
阅读量783 收藏 1
点赞数 1
分类专栏： 大数据平台环境分布式搭建 文章标签： 大数据 Kafka Kafka Eagle 分布式
Santorinisu博客，未经授权，禁止转载!!
本文链接：https://blog.csdn.net/Santorinisu/article/details/103085550
版权
Section I: 文件清单
  1. kafka-eagle-bin-1.4.0.tar.gz
Section II: 下载链接

[Kafka-Eagle 下载链接]：https://www.kafka-eagle.org/

Section III: Kafka-Eagle部署

总览，集群信息：

节点角色MasterSlave1Slave2
IP192.168.137.128192.168.137.129192.168.137.130
HostNameBlogMasterBlogSlave1BlogSlave2
HadoopBolgMaster-YESBlogSlave1-YESBlogSlave2-YES
ZookeeperBolgMaster-YESBlogSlave1-YESBlogSlave2-YES
KafkaBolgMaster-YESBlogSlave1-YESBlogSlave2-Yes
Kafka-EagleBolgMaster-YESBlogSlave1-NOBlogSlave2-NO

Step 1: 在BlogMaster主节点，解压kafka-eagle至指定目录

[root@BlogMaster ~]# tar -zxvf kafka-eagle-bin-1.4.0.tar.gz -C /opt/cluster/

Step 2: 在BlogMaster主节点配置环境变量KE_HOME

进入/etc目录后，在其下profile文件中新增如下内容：

export KE_HOME=/opt/cluster/kafka-eagle-bin-1.4.0/kafka-eagle-web-1.4.0

export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HIVE_HOME/bin:$ANT_HOME/bin:$KAFKA_HOME/bin
export PATH=$PATH:$KE_HOME/bin

之后，执行source profile，使得环境变量配置立即生效。

Step 3: 在BlogMaster主节点，修改配置文件system-config.properties（位于/opt/cluster/kafka-eagle-bin-1.4.0/kafka-eagle-web-1.4.0/conf）

修改如下如下选项

  1. cluster1.zk.list
  2. kafka.eagle.zk.cluster.alias
  3. kafka.eagle.driver
  4. kafka.eagle.url
  5. kafka.eagle.username
  6. kafka.eagle.password

值得注意，由于本次只有一个Zookeeper集群，因此需要注释该配置文件中与cluster2关联的所有项；另外，由于BlogMaster数据部署了MySQL数据库，因此可以切换Kafka-Eagle默认使用的SqlLite数据库。为便于操作，此处给出了该配置文件修改后的结果，具体如下：

######################################
# multi zookeeper&kafka cluster list
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=BlogMaster:2181,BlogSlave1:2181,BlogSlave2:2181
# cluster2.zk.list=xdn10:2181,xdn11:2181,xdn12:2181

######################################
# zk client thread limit
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
# cluster2.kafka.eagle.offset.storage=zk

######################################
# kafka metrics, 30 days by default
######################################
kafka.eagle.metrics.charts=false
kafka.eagle.metrics.retain=30


######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=false

######################################
# delete kafka topic token
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
# cluster2.kafka.eagle.offset.storage=zk

######################################
# kafka metrics, 30 days by default
######################################
kafka.eagle.metrics.charts=false
kafka.eagle.metrics.retain=30


######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=false

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.kafka.eagle.sasl.client.id=

# cluster2.kafka.eagle.sasl.enable=false
# cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
# cluster2.kafka.eagle.sasl.mechanism=PLAIN
# cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
# cluster2.kafka.eagle.sasl.client.id=

######################################
# kafka sqlite jdbc driver address
######################################
# kafka.eagle.driver=org.sqlite.JDBC
# kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
# kafka.eagle.username=root
# kafka.eagle.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://BlogMaster:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=root
kafka.eagle.password=201012

Step 4: 在BlogMaster主节点，进行kafka-eagle启动脚本权限更改

该文件位于/opt/cluster/kafka-eagle-bin-1.4.0/kafka-eagle-web-1.4.0/bin目录下。
修改权限命令为：

[root@BlogMaster bin]# chmod +x ke.sh
Section IV: Kafka-Eagle Web监测

在此处，分别依次在集群各节点启动Zookeeper和Kafka服务后，单独在主节点BlogMaster启动Kafka-Eagle服务，启动命令如下：

[root@BlogMaster bin]# ./ke.sh start

正常启动结果如下：

[root@BlogMaster bin]# ./ke.sh start
[2019-11-15 15:21:36] INFO: Starting  kafka eagle environment check ...
  created: META-INF/
 inflated: META-INF/MANIFEST.MF
  created: WEB-INF/
  created: WEB-INF/classes/
  created: WEB-INF/classes/org/
  created: WEB-INF/classes/org/smartloli/
  created: WEB-INF/classes/org/smartloli/kafka/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/dao/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/controller/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/sso/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/sso/filter/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/sso/pojo/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/quartz/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/service/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/service/impl/
  created: WEB-INF/classes/org/smartloli/kafka/eagle/web/pojo/
  created: WEB-INF/lib/
  created: WEB-INF/views/
  ***中间一大堆结果,此处省略.......***
 inflated: media/img/ke_login.png
  created: META-INF/maven/
  created: META-INF/maven/org.smartloli.kafka.eagle/
  created: META-INF/maven/org.smartloli.kafka.eagle/kafka-eagle-web/
 inflated: META-INF/maven/org.smartloli.kafka.eagle/kafka-eagle-web/pom.xml
 inflated: META-INF/maven/org.smartloli.kafka.eagle/kafka-eagle-web/pom.properties
*******************************************************************
* Kafka Eagle system monitor port successful... 
*******************************************************************
[2019-11-15 15:21:36] INFO: Status Code[0]
[2019-11-15 15:21:36] INFO: [Job done!]
Welcome to
    __ __    ___     ____    __ __    ___            ______    ___    ______    __     ______
   / //_/   /   |   / __/   / //_/   /   |          / ____/   /   |  / ____/   / /    / ____/
  / ,<     / /| |  / /_    / ,<     / /| |         / __/     / /| | / / __    / /    / __/   
 / /| |   / ___ | / __/   / /| |   / ___ |        / /___    / ___ |/ /_/ /   / /___ / /___   
/_/ |_|  /_/  |_|/_/     /_/ |_|  /_/  |_|       /_____/   /_/  |_|\____/   /_____//_____/   
                                                                                             

Version 1.4.0
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://192.168.137.128:8048/ke'
* Account:admin ,Password:123456
*******************************************************************
* <Usage> ke.sh [start|status|stop|restart|stats] </Usage>
* <Usage> https://www.kafka-eagle.org/ </Usage>
*******************************************************************

其中，上述结果给出了采用kafka-eagle检测kafka集群的Web网址、账户和密码。
在这里插入图片描述
具体地，对于本集群，登录网址：http://192.168.137.128:8048/ke/，账户、密码分别为admin和123456。

登录页面为：
在这里插入图片描述

登录后结果为：
在这里插入图片描述

Santorinisu
关注
  • 1
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 3
    评论
专栏目录
kafka监控工具kafka-eagle
07-01
kafka监控工具kafka-eagle，git下载太慢，更新与2018-07-01
【kafka】Kafka 可视化工具Kafka Eagle安装和使用
michaelwoshi的博客
04-08 2万+
一、背景 Kafka产线环境需要管理的Topic和Consumser越来越多，使用命令行工具进行管理会非常繁杂。因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。 Kafka Eagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。 Kafka Eagle提供了完善的监控页面和kafka常用操作的管理界面，便于管理员对kafka集群进行运维管理。 Kafka Eagle提供了KSQL操作的可视化界面，让你可以非常快速的查看kafka中的消息。 K
2024年运维最全吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你！
最新发布
m0_v648374的博客
05-01 1041
Kafka是由。
【Kafka】Kafka监控工具Kafka-eagle简介
后端研发工程师Marion的博客
05-17 2343
Kafka-eagle是一种基于Web的开源管理工具，可以用来监控、管理多个Kafka集群。下面是使用Docker部署Kafka-eagle的步骤：下载并安装Docker和Docker Compose。等待一段时间后，您可以通过浏览器打开，进入Kafka-eagle Web UI进行操作和管理。注意：如果您使用的是云服务器，则需要确保相关端口已经被正确放行。
上手第一关，手把手教你安装kafka与可视化工具kafka-eagle
战斧的博客
09-29 1万+
在本篇技术博文中，我们详细地教你如何安装kafka，还有它的可视化工具，中间也列举了一些异常以及它的处理方式，真正做到了手把手教学。那么安装教学就告一段落。在后面的学习中，我们将讲解他们的使用及运行原理，希望同学们能喜欢。
5、kafka监控工具Kafka-Eagle介绍及使用
热门推荐
alanchanchn的专栏
05-09 4万+
早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Manager，但随着监控的功能要求、性能要求的提高，这些工具已经无法满足。Kafka Eagle是一款结合了目前大数据Kafka监控工具的特点，重新研发的一块开源免费的Kafka集群优秀的监控工具。它可以非常方便的监控生产环境中的offset、lag变化、partition分布、owner等。
kafka-eagle-2.0.8.tar.gz
12-28
在部署Kafka Eagle 2.0.8时，需要注意的是，用户需要首先解压`kafka-eagle-bin-2.0.8`压缩包，然后按照官方提供的文档进行配置和启动服务。通常，这包括设置环境变量、配置服务器连接信息以及启动Web服务等步骤。 ...
kafka-eagle v1.4.8安装包
06-14
你已经拥有了kafka-eagle v1.4.8的安装包，即`kafka-eagle-bin-1.4.8.zip`。首先，将其解压到一个合适的目录，例如 `/opt/kafka-eagle`。 ```bash unzip kafka-eagle-bin-1.4.8.zip -d /opt/ ``` **四、配置** 1....
kafka-eagle
02-20
Kafka是Apache软件基金会的一个分布式流处理平台，广泛应用于大数据实时处理和消息传递。而Kafka-eagle则作为其配套工具，提供了以下几个关键功能： 1. **集群监控**：Kafka-eagle能够实时展示Kafka集群的总体状态...
kafka-eagle-2.0.4.tar.gz
02-27
安装部署Kafka Eagle 2.0.4，首先需要将"kafka-eagle-web-2.0.4"解压到服务器上，然后根据官方文档配置相关环境，包括Java环境、数据库连接、Kafka集群信息等。完成配置后，启动服务即可开始使用。 总的来说，Kafka...
EFAK（kafka eagle）的介绍和保姆级安装教程
炼数成器
05-12 2万+
本文主要介绍Apache原版和CDH版Kafka安装kafka eagle的相关配置 简介 kafka eagle（kafka鹰） 是一款由国内公司开源的Kafka集群监控系统，可以用来监视kafka集群的broker状态、Topic信息、IO、内存、consumer线程、偏移量等信息，并进行可视化图表展示。独特的KQL还可以通过SQL在线查询kafka中的数据。 官网地址 https://www.kafka-eagle.org/ github地址:https://github.com/smart.
Kafka-Eagle 安装到使用全教程
hzp666的博客
12-08 2664
KafkaEagle监控系统是一款用来监控Kafka集群的工具，目前更新的版本是v1.2.3，支持管理多个Kafka集群、管理Kafka主题（包含查看、删除、创建等）、消费者组合消费者实例监控、消息阻塞告警、Kafka集群健康状态查看等。官方安装包下载：http://download.kafka-eagle.org/ 个人使用版本为1.4.4最新下载好之后指定目录解压压缩包，接下来开始环境变量得配置。由于源代码核心实现采用的是Java语言，所以需要配置JDK环境，建议采用JDK8以上。配置内容如下：增加变
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你
weixin_43398645的博客
07-08 3647
Kafka是当下非常流行的消息中间件，据官网透露，已有成千上万的公司在使用它。最近实践了一波Kafka，确实很好很强大。今天我们来从三个方面学习下Kafka：Kafaka在Linux下的安装，Kafka的可视化工具，Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka，掌握这个流行的消息中间件！ Kafka简介 Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发布
Kafka高级(3)-监控工具Kafka-eagle介绍
qq_32677137的博客
10-29 1140
Kafka高级(3)-监控工具Kafka-eagle介绍 Kafka-Eagle简介 在开发工作中，当业务前提不复杂时，可以使用Kafka命令来进行一些集群的管理工作。但如果业务变得复杂，例如：我们需要增加group、topic分区，此时，我们再使用命令行就感觉很不方便，此时，如果使用一个可视化的工具帮助我们完成日常的管理工作，将会大大提高对于Kafka集群管理的效率，而且我们使用工具来监控消费者在Kafka中消费情况。 早期，要监控Kafka集群我们可以使用Kafka Monitor以及Kafka Ma
吊炸天的 Kafka 图形化工具 Eagle，必须推荐给你！
weixin_42907150的博客
03-08 1819
Kafka是当下非常流行的消息中间件，据官网透露，已有成千上万的公司在使用它。最近实践了一波Kafka，确实很好很强大。今天我们来从三个方面学习下Kafka：Kafaka在Linux下的安装，Kafka的可视化工具，Kafka和SpringBoot结合使用。希望大家看完后能快速入门Kafka，掌握这个流行的消息中间件！Kafka是由LinkedIn公司开发的一款开源分布式消息流平台，由Scala和Java编写。主要作用是为处理实时数据提供一个统一、高吞吐、低延迟的平台，其本质是基于发布订阅模式。
kafka集群&kafka-eagle安装
L57645764的博客
08-01 1408
kafka集群/kafka-eagle安装/手动创建、删除topic
（二十五）大数据实战——kafka集群及Kafka-Eagle控制台安装与部署
厉害哥哥的博客
09-10 2023
本节内容我们主要介绍一下搭建kafka集群以及kafka集群的一个web客户端组件Kafka-Eagle的部署安装，使用的kafka版本是kafka_2.12-3.0.0。在搭建kafka集群之前，我们要预先搭建好zookeeper集群，这里作者默认zookeeper的集群环境已经搭建完成，可参考作者往期博客内容。新版本的kafka集群分为俩种搭建方式，一种依赖zookeeper，一种使用Kraft模式，本节内容我们主要介绍zookeeper模式的kafka集群搭建部署。
构建Flink-Kafka实验环境与部署教程
整个实验流程旨在为读者提供一个清晰的操作指南，帮助他们在实际环境中使用Flink与Kafka进行数据处理，特别是针对分布式环境下的部署和管理。这包括了从云计算平台的资源选择到本地环境的配置优化，确保了大数据处理...
评论 3
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值