优化篇: kafka

kafka是一款消息中间件。作用是*********
这里主要说一下kafka的一些参数，本人在生产上遇到过很多kakfa的问题，如参数设置不当造成的内存溢出，占用的句柄数过高等。这里简单介绍几个参数

cpu与内存

CPU 一般不会是 Kafka 集群的瓶颈。常见的服务器 CPU 都没有问题。
kafka对磁盘与内存的操作是很多的，磁盘一般都是顺序读写，用到了页缓存技术(cache page)，kafka的.index和.timeIndex文件会映射到mmap中，我的理解就是页缓存里面，所以kafka的内存需要设置大一些

操作系统

内核的 Cache很大程序影响 Kafka 性能。但这部分的调优需要运维监控与相应的服务器调优。重点关注以下几个内核参数。
vm.dirty_background_ratio
vm.dirty_ratio
vm.dirty_expire_centisecs

kafka server端配置

num.network.threads: 默认值是 3。创建 Processor 处理网络请求线程个数，建议设置为 broker 当 CPU 核心数*2，这个值太低经常出现网络空闲太低而缺失副本。
num.io.threads: 默认值是 8。创建 KafkaRequestHandler 处理具体请求线程个数，建议设置为 broker 磁盘个数*2。但磁盘如果组了 RAID 后，建议可以实际测试一下磁盘阵列的 IOPS。对于 SSD，可以配置的更大一些。但不要配置超过核心数*2。
queued.max.requests: 默认值为 500。建议配置为 4000。在网络线程停止读取新请求之前，可以排队等待 I/O 线程处理的最大请求个数。增大 queued.max.requests 能够缓存更多的请求，以撑过业务峰值。如果过大，会造成内存的浪费。
num.replica.fetchers: 默认值 1。建议设置为 CPU 核心数/4，适当提高可以提升 CPU 利用率及 follower 同步 leader 数据当并行度。
log.flush.scheduler.interval.ms、log.flush.interval.ms和log.flush.interval.messages: 这几个参数表示日志数据刷新到磁盘的策略，应该保持默认配置，刷盘策略让操作系统去完成，由操作系统来决定什么时候把数据刷盘；如果设置来这个参数，可能对吞吐量影响非常大；
auto.leader.rebalance.enable: 表示是否开启 leader 自动负载均衡，默认值是true。应该把这个参数设置为false，因为自动负载均衡不可控，可能影响集群性能和稳定。但可按的集群负载平衡需要额外工作。

kafka producer 也有很多配置参数如压缩，幂等性，ack等

消息体的大小会对网络带宽带来压力，从吞吐量的角度考虑，建议开启压缩
幂等性(强一致性)一般情况下不用开启
ack有-1 0 1 这几项，一般允许部分消息丢失，可以使用1这个选项，这样发数据的性能高很多
kafka的分区数量很大程度影响kafkaProducer的发数据性能，一般设置成cpu*3的倍数

kafka 3已经发布了，移除了对于zk的依赖(感觉是很有必要的，依赖越少的中间件越好，但同时引入了kafka的复杂度)，新加了kraft…

to be continue …