kafka某broker网络线程idle过低问题追踪

最新推荐文章于 2023-04-08 11:58:13 发布
最新推荐文章于 2023-04-08 11:58:13 发布
阅读量2.6k 收藏 1
点赞数
分类专栏： Linux kafka 文章标签： kafka 网络 zookeeper
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/weixin_41431016/article/details/121968500
版权

问题描述
第一次出现是在操作完A号broker的重启后，13号broker的网络线程idle走低
在这里插入图片描述

一直到14号发起了一次重均衡（触发leader选举）之后13号（对应下图灰色实例）的broker网络线程idle恢复，转而1号broker（对应下图黄色实例）的网络线程idle开始走低
在这里插入图片描述

分析过程
各个broker间的流量没有差异，和network idle match的是broker进程cpu usage，接着看cpu上线文切换也match
在这里插入图片描述
再看网络连接虽然有差异，但是蓝色的broker比黄色的broker连接还要多却idle却不低，所以可以排除客户端连接不均

在这里插入图片描述

再看包的个数，差异是match的，问题broker的出入包的个数偏多，推断是包过多导致的网络设备中断从而触发cpu上线文切换偏高

最低0.47元/天 解锁文章
Bcc的笔记
关注
  • 0
    点赞
  • 踩
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
专栏目录
【Kafka】kafka AdminClient 闲时关闭连接
九师兄
09-23 1260
1.概述 原文：https://www.cnblogs.com/allenwas3/p/10289039.html AdminClient 类提供了创建、删除 topic 的 api。 在项目中创建了一个 AdminClient 对象，每次创建 topic 时，调用 org.apache.kafka.clients.admin.AdminClient#createTopics 如果长时间不使用这个对象，客户端与 broker 之间的连接会被关掉，相关的参数： connections.max.idle.ms.
kafka请求线程idle低问题分析
weixin_41431016的博客
01-20 1773
线上kafka 线程idle报警，线程idle趋势图 查看topic监控平台，发现__consumer_offsets topic的每秒写入高出其他topic很多倍，大概率是因为消费者提交频繁导致的了，但是这是全局的topic，无法看到每个消费者的提交频率，所以只能根据topic的流量走势来找出和该topic相匹配的，进而只观察相关topic的消费者 1、查看趋势相匹配的topic 按照流量由大到小筛查每个topic，发现两个topic的流量趋势和__consumer_offset一样 2、走查消费这
Kafka核心知识
weixin_43934698的博客
07-09 203
目录 1 kafka介绍 1.1 kafka是什么 1.2 术语介绍 1.3 拓扑结构 1 kafka介绍 1.1 kafka是什么 Kafka是一个分布式的，支持多分区、多副本，基于发布订阅模式的消息引擎系统。 1.2 术语介绍 名词 描述 消息（Record） Kafka 中的数据单元被称为消息，也被称为记录，可以把它看作数据库表中某一行的记录。 主题（Topic）
深度解析kafka broker网络模型运行原理
猿上生活
01-07 1279
原创不易，转载请注明出处 文章目录前言1.kafka网络模型运行原理2.对比一下RocketMQ的网络模型总结 前言 本文将介绍下kafka broker 端的网络模型，会从宏观角度介绍下kafka broker网络模型是啥样子的，都有哪些组件，组件之间的运作流程是啥样子的，里面涉及到的一些比较重要的参数，接着就是将RocketMQ网络模型拿出来与kafka 的比较一下。 1.kafka网络模型运行原理 kafka broker 在启动的时候，会根据你配置的listeners 初始化它的网络组件，用来.
RT_Thread_空闲线程
人非生而知之者
04-13 1817
1、空闲线程（idle）说明 1.1、线程类型：系统线程 1.2、优先级：最低 1.3、线程状态：就绪态 当系统中无其他就绪线程存在时，调度器将调度到空闲线程，它通常是一个死循环，且永远不能被挂起。空闲线程必须有得到执行的机会，即其他线程不允许一直while(1) 死卡 ，必须调用具有阻塞性质的函数；否则例如线程删除、回收等操作将无法得到正确执行。 1.4、功能1：回收资源 若某线程运行完毕，系统将自动删除线程：自动执行 rt_thread_exit() 函数，先将该线程从系统就绪队列中删除，再
python kafka 多线程消费者&手动提交实例
01-20
from kafka import KafkaConsumer, TopicPartition, OffsetAndMetadata from consumers.db_util import * from consumers.json_dispose import * from collections import OrderedDict threads = []
eventing-kafka-broker:备用Kafka Broker实施
04-17
【标题】"eventing-kafka-broker：备用Kafka Broker实现" 在Kubernetes和云原生领域，事件驱动架构已经成为微服务设计中的一个重要组成部分。Knative是Google主导的一个开源项目，旨在提供一套构建、部署和管理云...
Kafka配置参数详解 - 网络技术.rar_KAFKA broker_Kafka配置参数详解_kafka
09-14
11. **message.max.bytes**: 设置单个消息的最大大小，防止因过大消息导致的问题。 12. **socket.send.buffer.bytes / socket.receive.buffer.bytes**: TCP套接字的发送和接收缓冲区大小，可影响网络传输性能。 13...
kafka broker 常规配置参数
01-07
kafka broker 常规配置 ----总结自《kafka 权威指南》 broker.id：broker 的标识符，默认为 0。可设置为任意整数，这个值在 kafka 集群里必须要是唯一的。 port：设置监听端口。如果使用 1024 以下的端口，...
springMVC+多线程+kafka的 demo基于maven
07-07
在本项目中，我们探索了如何将Spring MVC框架与多线程、线程池和Apache Kafka集成，构建一个高效的数据处理系统。以下是关于这些技术及其整合的详细知识点： 1. **Spring MVC**： - Spring MVC是Spring框架的一个...
深入实战探索Kafka的Broker的原理及可靠性机制分析
最新发布
2301_76607156的博客
04-08 209
好了，我们来小结一下。本文介绍了监控 Kafka 的方方面面。除了监控 Kafka 集群，还推荐你从主机和 JVM 的维度进行监控。对主机的监控，往往是我们定位和发现问题的第一步。JVM 监控同样重要。要知道，很多 Java 进程碰到的性能问题是无法通过调整Kafka 参数是解决的。最后，罗列了一些比较重要的 Kafka JMX 指标。
浅谈Kafka Broker 请求处理流程
小生的博客
07-05 576
首先，无论是 Kafka 客户端还是 Broker 端，它们之间的交互都是通过请求-响应的方式完成的。Kafka 自己定义了一套请求协议，用于实现各种各样的交互操作，所有的请求都是通过 TCP 以 Socket进行通讯的。比如 请求是用于生产消息的， 请求是用于消费消息的， 请求是用于请求 Kafka 集群元数据信息的。因为采用顺序请求的方式吞吐量太低，采用每个请求对应一个线程的方式开销太大，所以Kafka采用Reactor设计模式(1 + M + N) → 经典高并发IO设计模式 来处理请求。在这个架构
kafka 费者参数设置调优
会哭的雨@的博客
08-26 3332
kafka Consumer参数设置 1.session.timeout.ms <= coordinator检测失败的时间 默认值是10s 该参数是 Consumer Group 主动检测 (组内成员comsummer)崩溃的时间间隔。若设置10min，那么Consumer Group的管理者（group coordinator）可能需要10分钟才能感受到。太漫长了是吧。 2.max.poll.interval.ms <= 轮询间隔(处理逻辑最大时间) 这个参数是0.10.1.0版本后新
linux 设置线程为idle,请问在Linux下怎么修改当前线程的优先级？
weixin_34219634的博客
05-06 186
如题。|Forprocessesscheduledunderoneofthenormalschedulingpolicies(SCHED_OTHER,SCHED_IDLE,SCHED_BATCH),sched_priorityisnotusedinschedulingdecisions(itmustbespecifiedas0).Processes...
kafka API详解
热门推荐
.zz的博客
06-25 2万+
1. 生产者apiProducer是Kafka三大组件中的一个，用于发送消息到kafka集群中Producer提供了丰富的配置（见后面的配置项）用于控制它的行为在编码之前先使用命令创建topic./kafka-topics.sh --create --zookeeper hadoop01,hadoop02,hadoop03:2181 --partitions 2 --replication-fac...
kafka实战教程(python操作kafka--理论篇)
weixin_30530339的博客
07-27 1708
应用往Kafka写数据的原因有很多：用户行为分析、日志存储、异步通信等。多样化的使用场景带来了多样化的需求：消息是否能丢失？是否容忍重复？消息的吞吐量？消息的延迟？ kafka介绍Kafka属于Apache组织，是一个高性能跨语言分布式发布订阅消息队列系统[7]。它的主要特点有： 以时间复杂度O(1)的方式提供消息持久化能力，并对大数据量能保证常数时间的访问性能；高吞吐率，单台服务器...
kafka-consumer参数详解
鸭鸭的博客
03-15 1万+
consumer参数 主要介绍下kafka的consumer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网连接》，参数的内容，主要是选取《apache kafka实战》中的一些讲解和官网相互参看 bootstrap.servers 和 Java 版本 producer 相同，这是必须要指定的参数。该参数指定了一组 host:port ...
oracle cpu idle值过低问题分析过程
技术积累
12-17 1328
某应用数据库cpu idle值间歇性降低，最低达到百分之二十多，存在安全隐患。将分析过程记录下来。 开始怀疑是应用问题，并发较高时导致数据库cpu占用较高。经过初步分析，没有发现有问题的服务，凌晨两点左右在系统几乎不使用的时候，对系统做了一次监控，发现问题依然存在。因此初步排除应用问题。 数据库是AIX系统，使用HA做热备。例行维护时，切换备机，发现原来有问题的物理机c...
深入理解Kafka：Broker、Producer与Consumer解析
Kafka的核心组件是Broker，它是一个服务器节点，负责存储和转发消息。多个Broker组成一个Kafka集群，提供冗余和容错能力。每个Broker包含多个Partition（分区），Partition是数据存储的基本单位，确保了消息的有序性...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值