面试官：你是如何诊断Kafka消息发送到瓶颈在哪里(有的放矢才是性能优化的正确打开方式)

先自我介绍一下，小编浙江大学毕业，去过华为、字节跳动等大厂，目前阿里P7

深知大多数程序员，想要提升技能，往往是自己摸索成长，但自己不成体系的自学效果低效又漫长，而且极易碰到天花板技术停滞不前！

因此收集整理了一份《2024年最新Java开发全套学习资料》，初衷也很简单，就是希望能够帮助到想自学提升又不知道该从何学起的朋友。

既有适合小白学习的零基础资料，也有适合3年以上经验的小伙伴深入学习提升的进阶课程，涵盖了95%以上Java开发知识点，真正体系化！

由于文件比较多，这里只是将部分目录截图出来，全套包含大厂面经、学习笔记、源码讲义、实战项目、大纲路线、讲解视频，并且后续会持续更新

如果你需要这些资料，可以添加V获取：vip1024b （备注Java）

正文

producer-metrics是发送端一个非常重要的监控项，如下图所示：

其重点项说明如下：

• batch-size-avg

Sender线程实际发送消息时一个批次(ProducerBatch)的平均大小。

• batch-size-max

Sender线程时间发送消息时一个批次的最大大小。

实践指导：个人觉得这两个参数非常有必要进行采集，如果该值远小于batch.size设置的值，如果吞吐量不达预期，可以适当调大linger.ms。

• batch-split-rate

Kafka提供了对大的ProducerBatch分割成小的机制，即如果客户端的ProducerBatch如果超过了服务端允许的最大消息大小，将会触发在客户端分割重新发送，该值记录每秒切割的速率

• batch-split-total

Kafka 发生的 split 次数。

温馨提示：按照笔者对这部分源码的阅读，我觉得ProducerBatch的split的意义不大，因为新分配的ProducerBatch的容量会等于batch.size，未超过该大小，则该Batch不会被分隔，笔者认为该功能大概率无法完成实际的切割意图。

实践指导：如果该值不为0，则表示服务端，客户端设置的消息大小不合理，客户端设置的batch.szie大小应该小于服务端设置的 max.message.bytes，默认值100W字节(约等于1M)

• buffer-available-bytes

当前发送端缓存区可用字节大小。

• buffer-total-bytes

发送端总的缓存区大小，默认为32M，33,554,432个字节。

实战指导：如果缓存区剩余字节数持续较低，需要评估缓存区大小是否合适，Sender线程遇到了瓶颈，从而考虑网络、Brorker是否遇到瓶颈。

• bufferpool-wait-ratio

• bufferpool-wait-time-total

客户端从缓存区中申请内存用于创建ProducerBatch所阻塞的总时长。

实战指导：如果该值持续大于0，说明发送存在瓶颈，可以适当降低linger.ms的值，让消息有机会得到更加及时的处理。

• produce-throttle-time-avg

消息发送被broker限流的平均时间

• produce-throttle-time-max

消息发送被broker限流的最大时间

• io-ratio

IO线程处理IO读写的总时间

• io-time-ns-avg

每一次事件选择器调用IO操作的平均时间(单位为纳秒)

• io-waittime-total

io线程等待读写就绪的平均时间（单位为纳秒）

• iotime-total

io处理总时间。

• network-io-rate

客户端每秒所有连接的网络读写tps。

• network-io-total

客户端所有连接上的网络操作(读或写)总数。

1.2 通用指标

Kafka在消息发送端除了上述指标外，还有一些通用类的监控指标，这类指标的统计维度包括：消息发送者、节点、TOPIC三个维度。

主要的维度说明如下：

• producer-metics

发送端维度

• producer-node-metrics

发送端-Broker节点维度

• producer-topic-metrics

发送端-主题维度的统计

接下来说明的指标，分别以不同的维度进行统计，但其表示的含义表示一样，故接下来统一说明。

• incoming-byte-rate

每秒的入端流量，每秒进入的字节数。

• incoming-byte-total

总共进入的字节数。

• outgoing-byte-total

总出发送的字节数。

• request-latency-avg

消息发送的平均延时。

• request-latency-max

消息发送的最大延迟时间。

实战指导：latency-avg与max可以反应消息发送的延迟性能，如果延迟过高，说明Sender线程发送消息存在瓶颈，建议该值与linger.ms进行比较，如果该值显著小于linger.ms，则为了提高吞吐率，可适当调整batch.size的大小。

• request-rate

每秒发送Tps

笔者福利

以下是小编自己针对马上即将到来的金九银十准备的一套“面试宝典”，不管是技术还是HR的问题都有针对性的回答。

有了这个，面试踩雷？不存在的！

回馈粉丝，诚意满满！！！

网上学习资料一大堆，但如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！
如果学到的知识不成体系，遇到问题时只是浅尝辄止，不再深入研究，那么很难做到真正的技术提升。**

需要这份系统化的资料的朋友，可以添加V获取：vip1024b （备注Java）
[外链图片转存中…(img-lHFGHC9T-1713560038159)]

一个人可以走的很快，但一群人才能走的更远！不论你是正从事IT行业的老鸟或是对IT行业感兴趣的新人，都欢迎加入我们的的圈子（技术交流、学习资源、职场吐槽、大厂内推、面试辅导），让我们一起学习成长！