面试官：你是如何诊断Kafka消息发送到瓶颈在哪里(有的放矢才是性能优化的正确打开方式)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）

正文

• produce-throttle-time-avg

消息发送被broker限流的平均时间

• produce-throttle-time-max

消息发送被broker限流的最大时间

• io-ratio

IO线程处理IO读写的总时间

• io-time-ns-avg

每一次事件选择器调用IO操作的平均时间(单位为纳秒)

• io-waittime-total

io线程等待读写就绪的平均时间（单位为纳秒）

• iotime-total

io处理总时间。

• network-io-rate

客户端每秒所有连接的网络读写tps。

• network-io-total

客户端所有连接上的网络操作(读或写)总数。

1.2 通用指标

Kafka在消息发送端除了上述指标外，还有一些通用类的监控指标，这类指标的统计维度包括：消息发送者、节点、TOPIC三个维度。

主要的维度说明如下：

• producer-metics

发送端维度

• producer-node-metrics

发送端-Broker节点维度

• producer-topic-metrics

发送端-主题维度的统计

接下来说明的指标，分别以不同的维度进行统计，但其表示的含义表示一样，故接下来统一说明。

• incoming-byte-rate

每秒的入端流量，每秒进入的字节数。

• incoming-byte-total

总共进入的字节数。

• outgoing-byte-total

总出发送的字节数。

• request-latency-avg

消息发送的平均延时。

• request-latency-max

消息发送的最大延迟时间。

实战指导：latency-avg与max可以反应消息发送的延迟性能，如果延迟过高，说明Sender线程发送消息存在瓶颈，建议该值与linger.ms进行比较，如果该值显著小于linger.ms，则为了提高吞吐率，可适当调整batch.size的大小。

• request-rate

每秒发送Tps

• request-size-avg

消息发送的平均大小。

• request-size-max

Sender线程单次消息发送的最大大小。

实战指导：如果该值迟迟小于max.request.size，说明客户端消息积压的消息不多，如果从其他维度表明遇到了瓶颈，可以适当linger.ms，batch.size，可有效提高吞吐。

• request-total

请求发送的总字节数

• response-rate

每秒接受服务端响应TPS

• response-total

收到服务端响应总数量。

2、监控指标采集

---

虽然Kafka内置了众多的监控指标，但这些指标默认是存储在内存中，既然是存放在内存中，为了避免监控数据无休止的增加内存触发内存溢出，通常监控数据的存储基本是基于滑动窗口，即只会存储最近一段时间内的监控数据，进行滚动覆盖。

故为了更加直观的展示这些指标，因为需要定时将这些信息进行采集，统一存储在其他数据库等持久化存储，可以根据历史数据绘制曲线，希望实现的效果如下图所示：

基本的监控采集系统架构设计如下图所示：

mq-collect应该是放在生产者SDK中，通过mq-collect类库异步定时将采集信息上传的到时序数据库InfluxDB,然后通过mq-portal门户展示页面，对每一个生产客户端按指标进行可视化展示，实现监控数据的可视化，从而为性能优化提供依据。

---

好了，本文就介绍到这里了，一键三连(关注、点赞、留言)是对我最大的鼓励。

掌握一到两门java主流中间件，是敲开BAT等大厂必备的技能，送给大家一个Java中间件学习路线，助力大家实现职场的蜕变。

Java进阶之梯，成长路线与学习资料，助力突破中间件领域

写在最后

作为一名即将求职的程序员，面对一个可能跟近些年非常不同的 2019 年，你的就业机会和风口会出现在哪里？在这种新环境下，工作应该选择大厂还是小公司？已有几年工作经验的老兵，又应该如何保持和提升自身竞争力，转被动为主动？

就目前大环境来看，跳槽成功的难度比往年高很多。一个明显的感受：今年的面试，无论一面还是二面，都很考验Java程序员的技术功底。

最近我整理了一份复习用的面试题及面试高频的考点题及技术点梳理成一份“Java经典面试问题（含答案解析）.pdf和一份网上搜集的“Java程序员面试笔试真题库.pdf”（实际上比预期多花了不少精力），包含分布式架构、高可扩展、高性能、高并发、Jvm性能调优、Spring，MyBatis，Nginx源码分析，Redis，ActiveMQ、Mycat、Netty、Kafka、Mysql、Zookeeper、Tomcat、Docker、Dubbo、Nginx等多个知识点高级进阶干货！

由于篇幅有限，为了方便大家观看，这里以图片的形式给大家展示部分的目录和答案截图！

Java经典面试问题（含答案解析）

阿里巴巴技术笔试心得

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）
[外链图片转存中…(img-N4UaSx88-1713182436276)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！