CC00091.kafka——|Hadoop&kafka.V05|——|kafka.v05|监控工具KafkaEagle.v01|

已于 2022-04-12 17:28:41 修改
阅读量80 收藏 1
点赞数
分类专栏： bigdatav013——kafka 文章标签： 可视化 大数据 java kafka hadoop
于 2022-04-10 14:01:00 首次发布
不予转载
本文链接：https://blog.csdn.net/yanqi_vip/article/details/124090164
版权
本文档详细介绍了KafkaEagle监控工具的特性、核心模块，包括主题管理、消费者应用监控、集群管理和告警功能等。接着，逐步展示了如何下载、解压部署包，配置环境变量、Kafka的JMX_PORT，以及设置config文件。最后，启动Kafka和KafkaEagle服务，并提供了登录信息和UI操作界面的截图。
摘要由CSDN通过智能技术生成
一、监控工具 Kafka Eagle 
### --- 监控工具kafka Eagle

~~~     我们可以使用Kafka-eagle管理Kafka集群
~~~     自行编译官网， https://github.com/smartloli/kafka-eagle
### --- 核心模块：

~~~     # 面板可视化
~~~     主题管理，包含创建主题、删除主题、主题列举、主题配置、主题查询等
~~~     消费者应用：对不同消费者应用进行监控，包含Kafka API、Flink API、Spark API、StormAPI、Flume API、LogStash API等
~~~     集群管理：包含对Kafka集群和Zookeeper集群的详情展示，其内容包含Kafka启动时间、Kafka端口号、Zookeeper Leader角色等。同时，还有多集群切换管理，Zookeeper Client操作入口
~~~     集群监控：包含对Broker、Kafka核心指标、Zookeeper核心指标进行监控，并绘制历史趋势图
~~~     告警功能：对消费者应用数据积压情况进行告警，以及对Kafka和Zookeeper监控度进行告警。同时，支持邮件、微信、钉钉告警通知
~~~     系统管理：包含用户创建、用户角色分配、资源访问进行管理
### --- 架构：

~~~     可视化：负责展示主题列表、集群健康、消费者应用等
~~~     采集器：数据采集的来源包含Zookeeper、Kafka JMX & 内部Topic、Kafka API(Kafka 2.x以后版本)
~~~     数据存储：目前Kafka Eagle存储采用MySQL或SQLite，数据库和表的创建均是自动完成的，
~~~     按照官方文档进行配置好，启动Kafka Eagle就会自动创建，用来存储元数据和监控数据
~~~     监控：负责见消费者应用消费情况、集群健康状态
~~~     告警：对监控到的异常进行告警通知，支持邮件、微信、钉钉等方式
~~~     权限管理：对访问用户进行权限管理，
~~~     对于管理员、开发者、访问者等不同角色的用户，分配不用的访问权限
二、部署kafka-eagle：开启kafka节点的JMX 
### --- 下载并解压kafka-eagle部署包

~~~     # 下载编译好的包
[root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip

[root@hadoop01 software]# unzip kafka-eagle.zip
[root@hadoop01 software]# mv kafka-eagle ../servers/
~~~     # 配置kafka-eagle

[root@hadoop01 ~]# mkdir -p /opt/yanqi/servers/kafka-eagle/kafka-eagle-web/target/test
[root@hadoop01 ~]# cd /opt/yanqi/servers/kafka-eagle/kafka-eagle-web/target
[root@hadoop01 target]# cp kafka-eagle-web-2.0.1-bin.tar.gz test/
[root@hadoop01 ~]# cd /opt/yanqi/servers/kafka-eagle/kafka-eagle-web/target/test
[root@hadoop01 test]# tar -zxvf kafka-eagle-web-2.0.1-bin.tar.gz
[root@hadoop01 test]# cd kafka-eagle-web-2.0.1
### --- 需要配置环境变量：

~~~     # KE_HOME目录
[root@hadoop01 kafka-eagle-web-2.0.1]# pwd
/opt/yanqi/servers/kafka-eagle/kafka-eagle-web/target/test/kafka-eagle-web-2.0.1
~~~     # 配置环境变量
[root@hadoop01 ~]# vim /etc/profile
##KE_HOME
export KE_HOME=/opt/yanqi/servers/kafka-eagle/kafka-eagle-web/target/test/kafka-eagle-web-2.0.1
export PATH=$PATH:$KE_HOME/bin

~~~     # 配置生效
[root@hadoop01 kafka-eagle-web-2.0.1]# source /etc/profile
### --- 配置kafkaJMX_PORT参数：不然获取不到数据

# --- 在hadoop01~03：kafka中配置JMX_PORT
[root@hadoop01 ~]# vim /opt/yanqi/servers/kafka_2.12/bin/kafka-run-class.sh
~~~ 第16行
JMX_PORT=9581
### --- 配置config文件：conf下的配置文件：system-config.properties

~~~     # 创建eg存储目录
[root@hadoop01 ~]# mkdir -p /opt/yanqi/servers/kafka-eagle/db
 
~~~     #### ---  配置参数
[root@hadoop01 conf]# vim /opt/yanqi/servers/kafka-eagle/kafka-eagle-web/target/test/kafka-eagle-web-2.0.1/conf/system-config.properties
######################################
# multi zookeeper & kafka cluster list
######################################
# 集群的别名，用于在kafka-eagle中进行区分。
# 可以配置监控多个集群，别名用逗号隔开
# kafka.eagle.zk.cluster.alias=cluster1,cluster2,cluster3
kafka.eagle.zk.cluster.alias=cluster1
# 需要和kafka的server.properties中配置的zookeeper.connect的值一致
# 配置当前集群的zookeeper地址，此处的值要与Kafka的server.properties中的zookeeper.connect的值一致
# 此处的前缀就是集群的别名
# cluster1.zk.list=10.1.201.17:2181,10.1.201.22:2181,10.1.201.23:2181
cluster1.zk.list=hadoop01:2181,hadoop02:2181,hadoop03:2181/myKafka

######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=test
cluster1.zk.acl.password=test123

######################################
# broker size online list
######################################
cluster1.kafka.eagle.broker.size=20

######################################
# zk client thread limit    # zookeeper客户端连接数限制
######################################
kafka.zk.limit.size=25

######################################
# kafka eagle webui port    # kafka eagle网页端口号
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage      # kafka 消费信息存储位置，用来兼容kafka低版本
######################################
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=zk

######################################
# kafka metrics, 15 days by default
######################################
kafka.eagle.metrics.charts=true
kafka.eagle.metrics.retain=15

######################################
# kafka sql topic records max
######################################
kafka.eagle.sql.topic.records.max=5000
kafka.eagle.sql.fix.error=true

######################################
# delete kafka topic token  # 管理员删除kafka中topic的口令
######################################
kafka.eagle.topic.token=keadmin

######################################
# kafka sasl authenticate   # kafka 集群是否开启了认证模式，此处是cluster1集群的配置，禁用
######################################
cluster1.kafka.eagle.sasl.enable=false
cluster1.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster1.kafka.eagle.sasl.mechanism=SCRAM-SHA-256
cluster1.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.scram.ScramLoginModule required username="kafka" password="kafka-eagle";
cluster1.kafka.eagle.sasl.client.id=
cluster1.kafka.eagle.sasl.cgroup.enable=false
cluster1.kafka.eagle.sasl.cgroup.topics=

cluster2.kafka.eagle.sasl.enable=false
cluster2.kafka.eagle.sasl.protocol=SASL_PLAINTEXT
cluster2.kafka.eagle.sasl.mechanism=PLAIN
cluster2.kafka.eagle.sasl.jaas.config=org.apache.kafka.common.security.plain.PlainLoginModule required username="kafka" password="kafka-eagle";
cluster2.kafka.eagle.sasl.client.id=
cluster2.kafka.eagle.sasl.cgroup.enable=false
cluster2.kafka.eagle.sasl.cgroup.topics=

######################################
# kafka ssl authenticate    #示例配置
######################################
cluster3.kafka.eagle.ssl.enable=false
cluster3.kafka.eagle.ssl.protocol=SSL
cluster3.kafka.eagle.ssl.truststore.location=
cluster3.kafka.eagle.ssl.truststore.password=
cluster3.kafka.eagle.ssl.keystore.location=
cluster3.kafka.eagle.ssl.keystore.password=
cluster3.kafka.eagle.ssl.key.password=
cluster3.kafka.eagle.ssl.cgroup.enable=false
cluster3.kafka.eagle.ssl.cgroup.topics=

######################################
# 存储监控数据的数据库地址
# kafka默认使用sqlite存储，需要指定和创建sqlite的目录
# 如：/opt/yanqi/servers/kafka-eagle/db/ke.db
# kafka sqlite jdbc driver address
######################################
kafka.eagle.driver=org.sqlite.JDBC
kafka.eagle.url=jdbc:sqlite:/opt/yanqi/servers/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=www.kafka-eagle.org

######################################
# kafka mysql jdbc driver address   # 还可以使用MySLQ存储监控数据
######################################
#kafka.eagle.driver=com.mysql.jdbc.Driver
#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
#kafka.eagle.username=root
#kafka.eagle.password=123456
三、启动kafka-eagle监控服务端 
### --- 启动zookeeper和kafka服务

~~~     # 所有节点启动zookeeper和kafka
[root@hadoop01 ~]# zkServer.sh start
[root@hadoop01 ~]# kafka-server-start.sh -daemon /opt/yanqi/servers/kafka_ms/config/server.properties
### --- 启动kafka-eagle
~~~     提示我们登陆地址和账号密码

[root@hadoop01 ~]# ke.sh start
 Welcome to
    __ __    ___     ____    __ __    ___            ______    ___    ______    __     ______
   / //_/   /   |   / __/   / //_/   /   |          / ____/   /   |  / ____/   / /    / ____/
  / ,<     / /| |  / /_    / ,<     / /| |         / __/     / /| | / / __    / /    / __/   
 / /| |   / ___ | / __/   / /| |   / ___ |        / /___    / ___ |/ /_/ /   / /___ / /___   
/_/ |_|  /_/  |_|/_/     /_/ |_|  /_/  |_|       /_____/   /_/  |_|\____/   /_____//_____/   
                                                                                             

Version 2.0.1 -- Copyright 2016-2020
*******************************************************************
* Kafka Eagle Service has started success.
* Welcome, Now you can visit 'http://192.168.1.111:8048'
* Account:admin ,Password:123456
*******************************************************************
* <Usage> ke.sh [start|status|stop|restart|stats] </Usage>
* <Usage> https://www.kafka-eagle.org/ </Usage>
*******************************************************************
//地址：http://192.168.1.111:8048
//账号：admin
//密码：123456
四、kafka-eagle管理UI操作界面 
### --- kafka-eagle管理UI操作界面

~~~     通过Chrome访问kafka-eagle：http://192.168.1.111:8048
~~~     管理控制UI
~~~     查看kafka集群节点
~~~     查看已经生产消费的主题
~~~     systemc.resource
yanqi_vip
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 打赏
    打赏
  • 0
    评论
专栏目录
CC00020.kafka——|Hadoop&kafka.V05|——|kafka.v05|分区器剖析.v01|
yanqi_vip
04-09 70
一、分区器剖析 ### --- 分区器 ~~~ # 默认(DefaultPartitioner)分区计算： ~~~ 如果record提供了分区号，则使用record提供的分区号 ~~~ 如果record没有提供分区号，则使用key的序列化后的值的hash值对分区数量取模 ~~~ 如果record没有提供分区号，也没有提供key，则使用轮询的方式分配分区...
SS00002.flink——|Hadoop&Flink计算领域锋利的武器.v02|——|KafkaEagle.v01|监控工具|环境部署|
yanqi_vip
04-17 81
一、部署kafka-eagle：开启kafka节点的JMX ### --- 下载并解压kafka-eagle部署包 ~~~ # 下载编译好的包 [root@hadoop01 software]# wget http://pkgs-linux.cvimer.com/kafka-eagle.zip [root@hadoop01 software]# unzip kafka-eag...
CC00041.kafka——|Hadoop&kafka.V26|——|kafka.v26|主题管理.v01|
yanqi_vip
04-09 78
一、主题管理：创建主题 ### --- 方案一：创建主题 ~~~ # 创建主题 [root@hadoop ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka --create --topic topic_x \ --partitions 3 --replication-factor 1 ### --- 查看创建的...
CC00022.kafka——|Hadoop&kafka.V07|——|kafka.v07|拦截器剖析.v01|
yanqi_vip
04-09 52
一、拦截器剖析 ### --- 拦截器 ~~~ # Producer拦截器(interceptor) ~~~ 和Consumer端Interceptor是在Kafka 0.10版本被引入的， ~~~ 主要用于实现Client端的定制化控制逻辑。 ~~~ # 对于Producer而言， ~~~ Interceptor使得用户在消息发送前以及Pro...
CC00052.kafka——|Hadoop&kafka.V37|——|kafka.v37|分区重新分配.v01|
yanqi_vip
04-09 102
一、分区重新分配 ### --- [kafka高级特性解析] ~~~ [分区重新分配] ~~~ [创建kafka集群实例二] ~~~ [自定义分配分区] ### --- 分区重新分配 ~~~ 向已经部署好的Kafka集群里面添加机器，我们需要从已经部署好的Kafka节点中复制相应的配置文件， ~~~ 然后把里面的broker id修改...
CC00043.kafka——|Hadoop&kafka.V28|——|kafka.v28|增加分区.v01|
yanqi_vip
04-09 62
一、增加分区 ### --- 创建主题：分区副本均为1 [root@hadoop ~]# kafka-topics.sh --zookeeper localhost:2181/myKafka \ --create --topic topic_demo_001 --partitions 1 --replication-factor 1 [root@hadoop ~]# kafka-...
CC00045.kafka——|Hadoop&kafka.V30|——|kafka.v30|kafkaAdminclient应用.v01|
yanqi_vip
04-09 242
一、KafkaAdminClient应用 ### --- KafkaAdminClient应用说明 ~~~ 除了使用Kafka的bin目录下的脚本工具来管理Kafka， ~~~ 还可以使用管理Kafka的API将某些管理查看的功能集成到系统中。 ~~~ 在Kafka0.11.0.0版本之前，可以通过kafka-core包(Kafka的服务端，采用Scala编写...
CC00057.kafka——|Hadoop&kafka.V42|——|kafka.v42|分区分配策略.v01|
yanqi_vip
04-09 57
一、分区分配策略 ### --- 分区分配策略 ~~~ 在Kafka中，每个Topic会包含多个分区， ~~~ 默认情况下一个分区只能被一个消费组下面的一个消费者消费，这里就产生了分区分配的问题。 ~~~ Kafka中提供了多重分区分配算法(PartitionAssignor)的实现： ~~~ RangeAssignor、RoundRob...
CC00002.kafka——|Hadoop&kafka.V02|——|kafka.v02|基本架构|核心概念.v01|
yanqi_vip
04-09 83
一、概念和基本架构 ### --- [kafka架构与实战] ~~~ [kafka介绍] ~~~ [kafka优势] ~~~ [kafka应用场景] ~~~ [kafka基本架构] ~~~ [kafka核心概念] ### --- Kafka介绍 ~~~ Kafka是最初由Linkedin公司开发， ~~~ 是一个分布式、分...
jmeter.backendlistener.kafka-1.0.1.jar
08-23
jmeter后端侦听器kafka 一个JMeter插件，使您可以将测试结果发送到Kafka服务器
kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException
01-07
在使用 canal 和kafka处理数据同步时canal日志提示如下异常： java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request ...
Python库 | streamsx.kafka-1.2.0.tar.gz
03-10
这个库为Python程序员提供了一个强大的工具集，以便在Python应用中无缝地接入Kafka服务。 `streamsx.kafka`是IBM开发的一个开源项目，它作为IBM Streams的一部分，旨在简化与Kafka的集成，特别是在处理复杂流处理...
PyPI 官网下载 | streamsx.kafka-1.8.1.tar.gz
02-11
《PyPI上的streamsx.kafka-1.8.1：连接Kafka与云原生环境的桥梁》 在Python的世界里，PyPI（Python Package Index）是开发者获取和分享软件包的重要平台。今天我们要关注的是PyPI上的一款名为"streamsx.kafka-1.8.1...
MichaelG.Noll：整合Kafka到SparkStreaming——代码示例和挑战
03-03
本文，Verisign实验室大规模数据分析基础设施的技术主管Michael通过示例对Kafka整合到SparkStreaming进行了详细讲解，更分享了该领域的现状和一些注意点。作者MichaelG.Noll是瑞士的一位工程师和研究员，效力于...
ElasticSearch文档数据关联关系处理
最新发布
qq_44027353的博客
08-15 650
再更新操作时，对象类型和嵌套对象nested方式有一个问题，因为根对象和嵌套对象本质上它们还是存在一个文档中的，每次更新时就可以需要重新索引整个文档。ES提供了父子关联关系，通过维护parent/child的关系，分离它们，使父文档和子文档是两个独立的文档，更新其中一个文档不会影响另一个文档。创建子文档时，必须通过routing指定父文档id，保证父子文档在一个shard中，提高join查询性能。user字段如果保存的是一个对象数组，在搜索时添加两个查询条件，数组中两个对象分别满足一个条件。
CentOS7.6 RabbitMQ消息队列集群部署——实施方案
weixin_71602103的博客
08-13 1248
​​​​​​阿里巴巴开源镜像站-OPSX镜像站-阿里云开发者社区 (aliyun.com)2.将一个RabbitMQ2节点加入到已经存在的RabbitMQ1集群中。6.将一个RabbitMQ3节点加入到已经存在的RabbitMQ1集群中。8. 将RabbitMQ3节点加入到已存在的集群中。4. 将RabbitMQ2节点加入到已存在的集群中。2、3 独立运行节点，warning提示不用理会。地址为rabbitMQ所在服务器的地址。3. 启动RabbitMQ应用程序。案例：配置阿里云的yum源。
Spark MLlib 特征工程(上)
08-14 2746
特征选择的动机，在于提取与预测标的关联度更高的特征，从而精简模型尺寸、提升模型泛化能力。特征选择可以从两方面入手，业务出发的专家经验和基于数据的统计分析。归一化的目的，在于去掉不同特征之间量纲的影响，避免量纲不一致而导致的梯度下降震荡、模型收敛效率低下等问题。归一化的具体做法，是把不同特征都缩放到同一个值域。在这方面，Spark MLlib 提供了多种归一化方法供开发者选择。
LangChain与Elasticsearch向量数据库的完美结合
python1234_的博客
08-13 1423
在过去的一年中，生成式 AI (Generative AI) 领域取得了显著的进展。许多新的服务和工具应运而生。其中，LangChain 已成为构建大语言模型 (LLM) 应用程序（例如检索增强生成 (RAG) 系统）最受欢迎的框架之一。该框架极大地简化了原型开发，并使开发者能够轻松实验不同的模型和检索系统。最近Elasticsearch将其集成从社区包升级为官方的 LangChain 合作伙伴包。这一升级使得在 LangChain 应用程序中引入 Elasticsearch 功能变得更加简便。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

yanqi_vip

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值