kafka指标说明及使用命令

最新推荐文章于 2024-06-30 17:54:50 发布
最新推荐文章于 2024-06-30 17:54:50 发布
阅读量1.7k 收藏 4
点赞数
分类专栏： kafka
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41347226/article/details/117560625
版权
本文介绍了Kafka的几个重要指标，如Broker Spread、Broker Skew和Broker Leader Skew，以及它们对集群负载的影响。同时，解释了Lag为负数的原因。此外，还列举了常用的Kafka管理命令，包括创建Topic、重新分配Partition、手动均衡Topic和查看Consumer消费信息等。
摘要由CSDN通过智能技术生成

1.kafka的指标说明
在这里插入图片描述
Brokers Spread：看作broker使用率，如kafka集群9个broker，某topic有7个partition，则broker spread: 7 / 9 = 77%
在这里插入图片描述
Brokers Skew：partition是否存在倾斜，如kafka集群9个broker，某topic有18个partition，正常每个broker应该2个partition。若其中有3个broker上的partition数>2，则broker skew: 3 / 9 = 33%
在这里插入图片描述
Brokers Leader Skew：leader partition是否存在倾斜，如kafka集群9个broker，某topic14个partition，则正常每个broker有2个leader partition。若其中一个broker有0个leader partition，一个有4个leader partition，则broker leader skew: (4 - 2) / 14 = 14%

最低0.47元/天 解锁文章
蜗牛般的程序员
关注
  • 0
    点赞
  • 踩
  • 4
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【微服务】springboot整合kafka-stream使用详解
congge
12-24 9889
kafka stream使用详解
使用JMX监控ZooKeeper和Kafka
跟着大数据和AI去旅行
11-21 1157
使用JMX监控ZooKeeper和Kafka
Kafka-Broker Spread，Broker Skewed，Broker Leader Skewed指标含义
HFUT_SIAS的博客
09-08 3616
Kafka 几个监控指标的含义 网上也有很多文章讲解这些个指标的含义，但总感觉还不够透彻。至少我是一知半解的。我查看了kafka eagle的源码，再举一些栗子来说明。 Broker Spread 引用 kafka-eagle几个指标含义 ...
监控Kafka的关键指标
key_3_feng的博客
08-08 1879
Kafka 是现代分布式系统架构中非常常见的组件，Kafka 运行是否正常，消息消费是否正常，都需要重点关注。监控可以从 4 个层面着手，机器、JVM、Kafka Broker、Lag。
Kafka~特殊技术细节设计：分区机制、重平衡机制、Leader选举机制、高水位HW机制
最新发布
Shangxingya的博客
06-30 617
Kafka 的分区机制是其实现高吞吐和可扩展性的重要特性之一。Kafka 中的数据具有三层结构，即主题（topic）-> 分区（partition）-> 消息（message）。一个 Kafka 主题可以包含多个分区，而每个分区又可以包含多条消息。Topic和Partition是kafka中比较重要的概念。
Kafka的监控指标
Sunny的专栏
04-24 5121
0、前言 Kafka的度量指标主要有以下三类： 1.Kafka服务器（Kafka）指标 2.生产者指标 3.消费者指标 另外，由于Kafka的状态靠Zookeeper来维护，对于Zookeeper性能的监控也成为了整个Kafka监控计划中一个必不可少的组成部分。 一、Broker度量指标 Kafka的服务端度量指标是为了监控broker，也是整个消息系统的核心。因为所有消息都通过kafka broker传递，然后被消费，所以对于broker集群上出现的问题的监控和告警就尤为重要。broker性
Kafka监控：主要性能指标
紫蝶侠的博客
03-19 478
Kafka监控：主要性能指标
Kafka各个指标的性能测试
文艺的码农青年的博客
08-03 1194
一、测试环境 二、测试工具 Kafka系统提供了测试工具kafka-producer-perf-test.sh和kafka-consumer-perf-test.sh，在kafka安装的bin目录下，通过该工具可以对生产者性能和消费者性能进行测试，获取一组最佳的参数值，进而提升生产者的发送效率和消费者的读取效率。 三、生产者测试 创建一个拥有3个分区、1个副本的topic，设置不同的线程数发送相同的数量，查看性能变化。脚本如下： ./kafka-producer-perf-test.sh --topic
Kafka常用JMX监控指标整理【实战笔记】
大叶子不小的博客
04-25 874
https://kafka.apache.org/22/documentation.html 一、系统相关指标 二、GC相关指标 三、JVM相关指标 四、Topic相关指标 五、Broker相关指标 一、系统相关指标 1.系统信息收集 java.lang:type=OperatingSystem {"freePhysicalMemorySize":"806023168","maxFileDescriptorCount":"4096","openFileDescriptorCount":".
为什么要使用kafka消息队列
qq_36721495的博客
05-21 1933
1.为什么要使用 kafka？为什么要使用消息队列？ 缓冲和削峰：上游数据时有突发流量，下游可能扛不住，或者下游没有足够多的机器来保证冗余，kafka在中间可以起到一个缓冲的作用，把消息暂存在kafka中，下游服务就可以按照自己的节奏进行慢慢处理。 解耦和扩展性：项目开始的时候，并不能确定具体需求。消息队列可以作为一个接口层，解耦重要的业务流程。只需要遵守约定，针对数据编程即可获取扩展能力。 冗余：可以采用一对多的方式，一个生产者发布消息，可以被多个订阅topic的服务消费到，供多个毫无关联的业务使用。 健
kafka使用
qq_38294614的博客
06-14 1243
Kafka简介 什么是 Kafka Kafka 是由 Linkedin 公司开发的，它是一个分布式的，支持多分区、多副本，基于 Zookeeper 的分布式消息流平台，它同时也是一款开源的基于发布订阅模式的消息引擎系统。 Kafka 的基本术语 消息：Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。 批次：为了提高效率， 消息会分批次写入 Kafka，批次就代指的是一组消息。 主题：消息的种类称为 主题（Topic）,可以说一个主题代表了一类消息。相当于是对
Kafka JMX指标&消费者积压等监控体系构建
gaofeng的博客
01-12 7906
针对于非kerberos环境非SSL环境的kafka version 0.11&2.5，其他版本有略微差异，没有大的改变 一、kafka部署时添加 将下面的jar包跟yaml配置文件都放在kafka的bin目录下 1、jmx_prometheus_javaagent-0.15.0.jar下载 这个jar包是prometheus 提供的 jmx_exporter ，作用是来收集 kafka 暴露的jmx指标。 jar包可以与下面的yaml文件进行配合，从而自己修改指标名称大小写、name等格式的转换（
kafka性能监控指标以及如何监控kafka性能
weixin_35756624的博客
02-12 1041
Kafka 性能监控指标包括： 吞吐量：消息生产速率和消息消费速率 延迟：消息从生产者到消费者的时间 空闲空间：分区剩余空间的大小 分区副本：副本的数量和分布情况 节点负载：CPU 利用率、内存使用率和网络流量 Kafka 性能监控可以通过使用内置的命令行工具或者使用第三方工具，例如：Kafka Manager、Grafana 等。 内置命令行工具：使用 Kafka 自带的命令行工具，如 k...
如何监控Kafka？他们的关键监测指标是什么
luisun66666的博客
11-07 2776
Kafka 是由 LinkedIn 开发一个分布式的基于发布订阅模式的消息队列，是一个实时数据处理系统，可以横向扩展。异步处理服务解耦流量削峰下图是异步处理的示例图。
Kafka分布式消息发布和订阅系统简介
LeoChen的专栏
12-21 2495
在kafka官网上对kafka的定义叫：A distributed publish-subscribe messaging system。publish-subscribe是发布和订阅的意思，所以更准确的说kafka是一个消息订阅和发布的系统。publish-subscribe这个概念很重要，因为kafka的设计理念就可以从这里说起。 Kafka有哪些吸引程序员去使用的特点： 在A
如何使用JMX监控Kafka
热门推荐
朱小厮的博客
12-08 5万+
使用kafka做消息队列中间件时，为了实时监控其性能时，免不了要使用jmx调取kafka broker的内部数据，不管是自己重新做一个kafka集群的监控系统，还是使用一些开源的产品，比如yahoo的kafka manager, 其都需要使用jmx来监控一些敏感的数据。在kafka官网中 http://kafka.apache.org/082/documentation.html#monitori...
Kafka学习笔记--存储内部
IT老兵的驿站
01-18 411
博客 原帖收藏于IT老兵驿站。 前言 研究一下Kafka的存储内部的原理，这里转发一篇文章，个人感觉这篇文章讲的非常好，所以推荐出来，同时做一下学习笔记。 当然，基于不鼓励懒人，启发式记录的原则，我只是对一些重点进行笔记记录，这样无论是将来自己看，还是现在别人看，都需要参考笔记去阅读一下原文----这也才是笔记的意义。 正文 A Practical Introduction to K...
监控数据指标kafka-metrics Prometheus（二）
鱼的博客
09-16 7205
Kafka metrics 所有的 metric 都可以通过 JMX 获取，暴露kafka metrics 支持两种方式 1.在 Kafka Broker 外部, 作为一个独立进程, 通过 JMX 的 RMI 接口读取数据. 这种方式的好处是有任何调整不需要重启 Kafka Broker 进程, 缺点是多维护了一个独立的进程。 2.在 Kafka Broker 进程内部读取 JMX 数据, 这样解析数据的逻辑就在 Kafka Broker 进程内部, 如果有任何调整, 需要重启 Broker。 选择暴露 k
kafka的安装及使用
07-27
要安装和使用Kafka，可以按照以下步骤进行操作： 1. 下载和解压Kafka： - 访问Apache Kafka官方网站：https://kafka.apache.org/downloads - 选择合适的Kafka版本并下载压缩包（通常为`.tgz`文件） - 解压下载的文件到指定目录，例如 `/opt/kafka` 2. 配置Kafka： - 进入Kafka解压目录，编辑`config/server.properties`文件 - 修改`advertised.listeners`属性为您的Kafka服务器的主机名和端口，例如 `PLAINTEXT://localhost:9092` - 其他配置项如需要，可以根据需求进行修改 3. 启动Zookeeper： - Kafka依赖于Zookeeper来管理集群状态，因此需要先启动Zookeeper - 进入Kafka解压目录，执行命令：`bin/zookeeper-server-start.sh config/zookeeper.properties` 4. 启动Kafka服务： - 打开一个新的终端窗口，进入Kafka解压目录，执行命令：`bin/kafka-server-start.sh config/server.properties` 5. 创建Topic： - 打开另一个终端窗口，进入Kafka解压目录 - 执行命令创建一个名为 `test_topic` 的Topic：`bin/kafka-topics.sh --create --topic test_topic --bootstrap-server localhost:9092 --partitions 1 --replication-factor 1` 6. 发送和接收消息： - 发送消息：执行命令 `bin/kafka-console-producer.sh --topic test_topic --bootstrap-server localhost:9092`，然后在控制台中输入消息并按Enter发送 - 接收消息：执行命令 `bin/kafka-console-consumer.sh --topic test_topic --from-beginning --bootstrap-server localhost:9092`，将显示已发送的消息 这只是Kafka的基本安装和使用方法，您可以根据实际需求进一步了解和配置。希望对您有所帮助！
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值