Kafka-Zookeeper监控工具简介、安装及使用 03

最新推荐文章于 2024-07-30 11:28:03 发布
最新推荐文章于 2024-07-30 11:28:03 发布
阅读量1.9k 收藏 5
点赞数
分类专栏： Kafka 文章标签： Kafka-eagle Kafka控制界面安装
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_42641909/article/details/89080852
版权

1. Kafka-eagle概述

  • Kafka没有专门的监控界面，当业务不复杂时，我们可以使用Kafka命令提供带有Zookeeper客户端工具的工具，可以轻松完成我们的工作。
  • 随着业务的复杂性，增加Group和Topic，Kafka命令已经无法满足业务需求，需要专门的Kafka监控系统，来关注消费者应用的细节。

2. Kafka-eagle环境部署和安装

2.1 环境

2.1.1 安装JDK

如果Linux服务器上有JDK环境，则可以忽略此步骤，如果没有需要安装JDK,如何安装JDK请查看如下链接
安装JDK

2.1.2 JAVA_HOME配置

JDK提取可以根据自己的实际情况来提取路径，这里我们解压缩到/user/java/jdk1.8, 入下图所示：

cd /usr/java 
tar -zxvf jdk-xxxx.tar.gz
mv jdk-xxxx jdk1.8
...
vi /etc/profile
export JAVA_HOME=/usr/java/jdk1.8
export PATH=$PATH:$JAVA_HOME/

从新编译环境

source /etc/profile

2.1.3 检验环境配置

最后，我们 java -version 根据以下信息输

java version "1.8.0_60"
Java(TM) SE Runtime Environment (build 1.8.0_60-b27)
Java HotSpot(TM) 64-Bit Server VM (build 25.60-b23, mixed mod

2.2 安装Kafka-eagle

2.2.1 下载安装包

https://github.com/smartloli/kafka-eagle-bin/archive/v1.2.6.tar

2.2.2 解压

  • 将压缩包提取到/data/soft/new目录并解压缩，如下
tar -zxvf kafka-eagle-${version}-bin.tar.gz
  • 重新命名该版本
mv kafka-eagle-${version} kafka-eagle

2.2.3 配置Kakfa eagel环境变量

vi /etc/profile

export KE_HOME=/data/soft/new/kafka-eagle
export PATH=$PATH:$KE_HOME/bin

2.2.4 配置Kafka eagle系统配置文件

进入Kafka-eagle的安装目录

cd ${KE_HOME}/conf

vi system-config.properties

# Multi zookeeper&kafka cluster list -- The client connection address of the Zookeeper
cluster is set here
kafka.eagle.zk.cluster.alias=cluster1,cluster2
cluster1.zk.list=tdn1:2181,tdn2:2181,tdn3:2181
cluster2.zk.list=xdn1:2181,xdn2:2181,xdn3:2181

# Zkcli limit -- Zookeeper cluster allows the number of clients to connect to
kafka.zk.limit.size=25

# Kafka Eagle webui port -- WebConsole port access address
kafka.eagle.webui.port=8048

# Kafka offset storage -- Offset stored in a Kafka cluster, if stored in the zookeeper,
you can not use this option
cluster1.kafka.eagle.offset.storage=kafka
cluster2.kafka.eagle.offset.storage=kafka

# Whether the Kafka performance monitoring diagram is enabled
kafka.eagle.metrics.charts=false

# If offset is out of range occurs, enable this property -- Only suitable for kafka sql
kafka.eagle.sql.fix.error=false

# Delete kafka topic token -- Set to delete the topic token, so that administrators can
have the right to delete
kafka.eagle.topic.token=keadmin

# kafka sasl authenticate, current support SASL_PLAINTEXT
kafka.eagle.sasl.enable=false
kafka.eagle.sasl.protocol=SASL_PLAINTEXT
kafka.eagle.sasl.mechanism=PLAIN
kafka.eagle.sasl.client=<kafka_client_jaas.conf file path>

# Default use sqlite to store data
kafka.eagle.driver=org.sqlite.JDBC

# It is important to note that the '/hadoop/kafka-eagle/db' path must exist.
kafka.eagle.url=jdbc:sqlite:/hadoop/kafka-eagle/db/ke.db
kafka.eagle.username=root
kafka.eagle.password=smartloli

# <Optional> set mysql address
#kafka.eagle.driver=com.mysql.jdbc.Driver
#kafka.eagle.url=jdbc:mysql://127.0.0.1:3306/ke?useUnicode=true&characterEncoding=UTF-
8&zeroDateTimeBehavior=convertToNull
#kafka.eagle.username=root
#kafka.eagle.password=smartloli

2.2.5 启动

  • 进入该目录中
cd ${KE_HOME}/bin
  • 给启动脚本赋值权限并启动，如下所示
chmod +x ke.sh./ke.sh start

2.3 在window上安装

2.3.1 安装jdk

详见百度

2.3.2 JAVA_HOME配置

具体配置如下图所示：
在这里插入图片描述

2.3.3 检查JDK

最后，我们java -version根据以下信息输入
在这里插入图片描述

2.3.4 KE_HOME配置

配置环境变量，如下图所示：
在这里插入图片描述

2.3.5 启动

转到%KE_HOME%\bin目录并单击该ke.bat文

3. Kafka-eagle入门使用

3.1 DashBoard（仪表盘）

我们http://host:port/ke通过浏览器进入，访问Kafka Eagle DashBoard页面，该页面包含以下内容：

  • Brokers
  • Topics
  • Zookeepers
  • Consumers
  • Kafka Brokers Graph
    如下图所示：
    在这里插入图片描述

3.2 Topic（主题）

当前主题列包含创建和列表，通过创建模块可以创建自定义分区和备份主题的数量。

  • 创建主题（Topic）
    指定了Topic的名字，分区，副本数，点击【create】就可以创建主题，如下图所示
    在这里插入图片描述
  • 主题（Topic）列表
    该模块遵循Kafka集群的所有主题，包括分区数，创建时间和修改主题，如下图所示：
    在这里插入图片描述
  • 主题（Topic）详细信息
    每一个主题对应一个超链接，则可以查看主题的细节，如：partition index number,Leader,Replicas和Isr,如下图的图中：
    在这里插入图片描述

3.3 消费者（Consumer）

改模块显示消费者记录的主题信息，其中包含以下内容：
* Running
* Pending
* Active Topic Graph
如下图所示：
在这里插入图片描述
在这里插入图片描述
每个Group名称都是超链接，显示消费的详细信息，如下所示:
在这里插入图片描述
在这里插入图片描述
单击Topic正在使用的名称，显示主题的消耗和生产率图表，如下所示：
在这里插入图片描述
在这里插入图片描述

3.4 集群信息

此模块显示Kafka集群信息和Zookeeper集群信息，包括以下内容：

  • Kafka Broker Host &IP
  • Kafka Broker创建和修改日期
  • Zookeeper主机和IP
    如下图所示：
    在这里插入图片描述

3.5 报警

新的报警模块，要注意自己的Topic报警设置，主题没有消费者信息，超过阀值，报警。目前，报警方式通过消息发出警报，设置如下图所示：

  • 配置报警
    在这里插入图片描述
  • 报警清单
    报警清单主要列出来自己所配置的一些报警清单，如下图所示：
    在这里插入图片描述

3.6 脚本命令

ke.sh启动脚本中包含以下命令：

在这里插入图片描述

3.7 Zookeeper客户端

Zookeeper客户端命令操作时，目前仅支持ls,delete,get命令操作时，命令不支持，如下图所示：

在这里插入图片描述

3.8 多集群

此模块显示Multi Kafka集群信息和Zookeeper集群信息，包括以下内容：

  • cluster 1
  • cluster 2
  • cluster 3
    如下图所示：
    在这里插入图片描述

3.9 Kafka SQL

  • 编辑SQL
    在这里插入图片描述
  • 数据集
    在这里插入图片描述
note: Access to topic message data, depending on the underlying interface record of theearliest and latest offset, the default display up to 5000 record

3.10 系统（System）

  • Resource
    控制删除、编辑等操作的权限，并且不控制浏览器操作。
    在这里插入图片描述
  • Role
    为每个角色分配一个可访问的目录
    在这里插入图片描述
  • User
    添加用户，填写相应的用户信息，单击“提交”，然后填写邮箱将收到相应的登录信息（登录名和密码)。
    在这里插入图片描述

3.11 Metric（度量）

  • MBean
    通过JMX获取数据，监控Kafka客户端，生产端，消息数量，请求数量，处理时间和其他数据，以可视化性能。
    在这里插入图片描述
    如果您的数据为空，请检查JMX的端口是否已启动。如果您没有启动，可以再开始之前编辑脚本。
vi kafka-server-start.sh...
if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
	export KAFKA_HEAP_OPTS="-server -Xms2G -Xmx2G -XX:PermSize=128m -XX:+UseG1GC -XX:MaxGCPauseMillis=200 -XX:ParallelGCThreads=8 -XX:ConcGCThreads=5 -XX:InitiatingHeapOccupancyPercent=70"
	export JMX_PORT="9999"
	#export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"
fi
  • Trend(趋势)
    根据不同的维度观察Kafka索引数据。
    在这里插入图片描述

4. 设计（Design）

4.1 DataSet收集器

消息数据源kafkaEagel监测（兼容 __consumer_offsets 于 offset 从zookeeper）。由于创建，修改或消费Kafka消息将在Zookeeper中注册，我们可以从变更中获取数据，例如：主题，Brokers，分区和组，Kafka在Zookeeper的存储结构中，如下图所：
在这里插入图片描述

啊策策
关注
专栏目录
5、kafka监控工具Kafka-Eagle介绍及使用
05-29
Kafka-Eagle 是针对 Kafka 集群设计的一款高效、易用的监控工具，旨在提供对 Kafka 的深度监控和管理。 Kafka-Eagle 的主要特点包括： 1. **全面监控**：它能够监控 Kafka 的关键指标，如 Broker 的状态、Topic 的...
几种常见的Kafka集群监控工具「送书」
数据一哥，公众号：数据社
06-18 8340
本文选自电子工业出版社的新书《kafka进阶》，推荐一下。送书规则：文末留言，精选精彩留言，对留言点赞最多的4位包邮送书一本~截止时间：2022.06.20 8:00一个功能健全的kafka集群可以处理相当大的数据量，由于消息系统是很多大型应用的基石，因此broker集群在性能上的缺陷，都会引起整个应用栈的各种问题。Kafka的度量指标主要有以下三类：1.Kafka服务...
4.2.5 Kafka集群与运维（集群的搭建、监控工具 Kafka Eagle）
weixin_47134119的博客
03-23 802
Kafka集群与运维 文章目录Kafka集群与运维1.集群的搭建1.1 搭建zookeeper集群1.1.1 上传JDK到linux，安装并配置JDK1.1.2. Linux 安装Zookeeper，三台Linux都安装，以搭建Zookeeper集群1.1.3.启动zookeeper1.2、Kafka集群搭建2.1 安装Kafka2.2 配置Kafka2.3 启动Kafka2.监控工具 Kafka Eagle2.1 需要Kafka节点开启JMX2.2 安装2.3 配置环境变量： 1.集群的搭建 搭建设
【Kafka】对 kafka 消费程序客户端进行监控采集
最新发布
Mrerlou的博客
07-30 908
对于 Kafka 组件而言，我们通常会对 kafka 服务端添加一些监控，来确保服务的稳定性，虽然有 kafka-exporter 来对消费者进行监控，但是指标很少，对于生产者和消费者更细粒度的监控就无法做到了。只能将监控部署在客户端上，这样我们就能拿到更加详细的监控数据。例如：对于消费者来说，我们可以获取到消费者重平衡次数，每次poll 数据的条数等等。这里梳理下如何对消费者添加 JMX 监控。
kafka-zookeeper集群架构可视化监控，Kafka-Eagle安装部署
zwl2220943286的博客
01-07 630
Kafka可视化，使用 Kafka-Eagle 做监控，赶紧配置起来！
kafka eagle监控kafka\zk集群
Bitile_孟波的博客
10-27 865
本篇文章是基于上一篇Kafka\Zookeeper3节点集群部署监控 一、环境准备 1、jdk8 环境（安装+配置变量） 2、kafka_eagle（解压+配置变量） 3、MySQL环境 （安装+配置变量 #安装本篇不再描述） 注意，本篇文章使用MySQL作为存储Kafka Eagle元数据信息的数据库（目前支持 MySQL和Sqlite，默认使用Sqlite进行存储） vi /etc/profile #增加jdk环境变量 export JAVA_HOME=/opt/java1.8/jdk export
kafka-manager监控管理kafka工具
07-16
Kafka-Manager是一款强大的开源工具，专为管理和监控Apache Kafka集群而设计。它由Yahoo!开发并维护，为Kafka用户提供了一种直观且易用的界面，帮助用户更好地理解和控制他们的Kafka环境。在本文中，我们将深入探讨...
kafka-eagle-bin-2.1.0.tar.gz
07-05
Kafka Eagle是一款针对Apache Kafka设计的开源管理工具，旨在提供一个直观且高效的监控和运维界面，以帮助管理员更好地管理和维护Kafka集群。其2.1.0版本是2022年7月发布的最新版本，包含了对Kafka各种功能的优化和...
Kafka集群及Kafka-Manager安装部署.docx
02-07
### Kafka集群及Kafka-Manager安装部署 #### 一、Kafka集群的安装与配置 **1. 工作环境准备** - **JDK**：确保安装了JDK 1.8.0_60版本。这一步骤至关重要，因为Kafka依赖于Java运行时环境。 - **Zookeeper**...
Kafka集群管理工具kafka-manager的安装使用1
08-08
【Kafka Manager 简介】 Kafka Manager 是一个由雅虎开源的高效且流行的 Kafka 集群管理工具，它提供了便捷的图形界面来帮助管理员执行常见的集群管理任务。Kafka Manager 支持多种功能，包括： 1. **管理多个 ...
zkdash:Zookeeper和Qconf的仪表板
05-03
zkdash zkdash是一个zookeeper的管理界面，也可以作为任何基于zookeeper的配置管理项目比如：Qconf 开发规划 zkdash目前正在开发第二版本，更易用，更开发，拥有完善权限管理，支持zk，更易用。 第二版已经在着手开源相关工作，会打造一个基于配置中心，服务发现，CICD，CMDB一体化的微服务管理平台。 zkdash页面展示 安装与运行 安装步骤 安装并运行mysql 安装python2.7, 版本最好 >= 2.7.6 下载zkdash git clone https://github.com/ireaderlab/zkdash.git 安装依赖项 cd zkdash pip install -r requirements.txt 设置配置文件 根据需要修改当前目录下./conf/conf.yml中相关配置信息，配置文件详细说明见后面 同步数据库表结构 首先
kafka如何监控
枣泥馅的博客
02-16 6469
监控kafka主要使用到了俩个工具，一个是kafka-manager，一个是java中的JMX 首先我们使用解压工具吧kafka-manager解压 unzip kafka-manager-2.0.0.2.zip -d ../training/ 然后到减压的目录中找到刚刚减压完成的kafka，修改它的配置文件 cd ../training/kafka-manager-2.0.0.2/ vim conf/application.conf 修改第二十四行把你的zookeeper地址填进去，这里的zookee
【kafka可视化工具】kafka-eagle在windows环境的下载、安装、启动与访问
No8g攻城狮的博客
06-20 6644
本文目录一、Kafka eagle的下载步骤一：访问官方网站：Download - EFAK步骤二：点击 Direct File Download二、kafka-eagle的安装步骤一：解压缩包步骤二：再解压缩Web客户端 三、配置环境变量步骤一：配置 KE_HOME步骤二：配置 path 变量四、配置文件修改五、kafka eagle的启动以上两种方式都可以下载，一个是官网下载（推荐），一个是 GitHub 下载（有时访问不到，而下载速度比较慢）。以下详细介绍第一种下载方式：下载的文件是 kafka-e
kafka3.4.0集群搭建（无zookeeper）
weixin_51338637的博客
03-23 5062
2.8版本及以上kafka集群搭建，移除zookeeper
Kafka可视化管理工具-CMAK（kafka-manager）
huofuman960209的博客
05-19 1万+
一、简介 为了简化开发者和服务工程师维护Kafka集群的工作，yahoo构建了一个叫做Kafka管理器的基于Web工具，叫做 Kafka Manager（已改名为 cmak）。 这个管理工具可以很容易地发现分布在集群中的哪些topic分布不均匀，或者是分区在整个集群分布不均匀的的情况。 它支持管理多个集群、选择副本、副本重新分配以及创建Topic。同时，这个管理工具也是一个非常好的可以快速浏览这个集群的工具，有如下功能： 1.管理多个kafka集群 2.便捷的检查kafka集群状态(topics,
kafka集群&kafka-eagle安装
L57645764的博客
08-01 1443
kafka集群/kafka-eagle安装/手动创建、删除topic
上手第一关，手把手教你安装kafka与可视化工具kafka-eagle
热门推荐
战斧的博客
09-29 1万+
在本篇技术博文中，我们详细地教你如何安装kafka，还有它的可视化工具，中间也列举了一些异常以及它的处理方式，真正做到了手把手教学。那么安装教学就告一段落。在后面的学习中，我们将讲解他们的使用及运行原理，希望同学们能喜欢。
5、Kafka 监控
wang_luwei的博客
12-25 1327
文章目录五、Kafka 监控5.1、什么是Kafka Eagle5.2、安装与运行5.2.1、在Linux上安装与运行5.2.2、在Windows上安装与运行5.3、Kafka案例_监控Eagle的使用 五、Kafka 监控 5.1 Kafka Eagle Kafka Eagle官方主页 Kafka Eagle下载页面 Kafka Eagle官方文档 5.1、什么是Kafka Eagle Kafka Eagle is open source visualization and management s
Kafka-Eagle监控工具：安装与使用指南
"本文主要介绍了Kafka监控工具Kafka-Eagle的使用，包括其简介、部署和验证。Kafka-Eagle是一款开源免费的Kafka集群监控工具，能够监控offset、lag变化、partition分布和owner等关键信息。文章还提到了开启Kafka JMX...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值