最后
小编利用空余时间整理了一份《MySQL性能调优手册》,初衷也很简单,就是希望能够帮助到大家,减轻大家的负担和节省时间。
关于这个,给大家看一份学习大纲(PDF)文件,每一个分支里面会有详细的介绍。
这里都是以图片形式展示介绍,如要下载原文件以及更多的性能调优笔记(MySQL+Tomcat+JVM)!
消息发送端的监控指标,其子节点为该进程下所有的生产者
- producer-node-metrics
以Broker节点为维度,每一个发送方的数据指标。
- producer-topic-metrics
以topic为维度,统计该发送端的一些指标。
Kafka Producer相关的指标比较多,本文不会一一罗列。
1.1 producer-metrics
producer-metrics是发送端一个非常重要的监控项,如下图所示:
其重点项说明如下:
- batch-size-avg
Sender线程实际发送消息时一个批次(ProducerBatch)的平均大小。
- batch-size-max
Sender线程时间发送消息时一个批次的最大大小。
实践指导:个人觉得这两个参数非常有必要进行采集,如果该值远小于batch.size设置的值,如果吞吐量不达预期,可以适当调大linger.ms。
- batch-split-rate
Kafka提供了对大的ProducerBatch分割成小的机制,即如果客户端的ProducerBatch如果超过了服务端允许的最大消息大小,将会触发在客户端分割重新发送,该值记录每秒切割的速率
- batch-split-total
Kafka 发生的 split 次数。
温馨提示:按照笔者对这部分源码的阅读,我觉得ProducerBatch的split的意义不大,因为新分配的ProducerBatch的容量会等于batch.size,未超过该大小,则该Batch不会被分隔,笔者认为该功能大概率无法完成实际的切割意图。
实践指导:如果该值不为0,则表示服务端,客户端设置的消息大小不合理,客户端设置的batch.szie大小应该小于服务端设置的 max.message.bytes,默认值100W字节(约等于1M)
- buffer-available-bytes
当前发送端缓存区可用字节大小。
- buffer-total-bytes
发送端总的缓存区大小,默认为32M,33,554,432个字节。
实战指导:如果缓存区剩余字节数持续较低,需要评估缓存区大小是否合适,Sender线程遇到了瓶颈,从而考虑网络、Brorker是否遇到瓶颈。
-
bufferpool-wait-ratio
-
bufferpool-wait-time-total
客户端从缓存区中申请内存用于创建ProducerBatch所阻塞的总时长。
实战指导:如果该值持续大于0,说明发送存在瓶颈,可以适当降低linger.ms的值,让消息有机会得到更加及时的处理。
- produce-throttle-time-avg
消息发送被broker限流的平均时间
- produce-throttle-time-max
消息发送被broker限流的最大时间
- io-ratio
IO线程处理IO读写的总时间
- io-time-ns-avg
每一次事件选择器调用IO操作的平均时间(单位为纳秒)
- io-waittime-total
io线程等待读写就绪的平均时间(单位为纳秒)
- iotime-total
io处理总时间。
- network-io-rate
客户端每秒所有连接的网络读写tps。
- network-io-total
客户端所有连接上的网络操作(读或写)总数。
1.2 通用指标
Kafka在消息发送端除了上述指标外,还有一些通用类的监控指标,这类指标的统计维度包括:消息发送者、节点、TOPIC三个维度。
主要的维度说明如下:
- producer-metics
发送端维度
- producer-node-metrics
发送端-Broker节点维度
- producer-topic-metrics
发送端-主题维度的统计
接下来说明的指标,分别以不同的维度进行统计,但其表示的含义表示一样,故接下来统一说明。
- incoming-byte-rate
每秒的入端流量,每秒进入的字节数。
- incoming-byte-total
总共进入的字节数。
- outgoing-byte-total
总出发送的字节数。
- request-latency-avg
消息发送的平均延时。
惊喜
最后还准备了一套上面资料对应的面试题(有答案哦)和面试时的高频面试算法题(如果面试准备时间不够,那么集中把这些算法题做完即可,命中率高达85%+)
0)]