优化篇: kafka

最新推荐文章于 2024-07-18 09:39:03 发布

kaisnm

最新推荐文章于 2024-07-18 09:39:03 发布

阅读量3.1k

点赞数 1

分类专栏： java kafka 文章标签： java

本文链接：https://blog.csdn.net/kaisnm/article/details/124330429

版权

本文探讨了Kafka作为消息中间件在生产环境中可能遇到的问题，如内存溢出和句柄数过高。强调了CPU通常不是瓶颈，而内存设置应适当增大，利用页缓存技术提高性能。还提到了操作系统的内核参数对Kafka性能的影响，以及Kafka服务器和producer的配置参数，如压缩、幂等性和acks设置。建议开启压缩以提升吞吐量，并根据CPU数量合理设置分区数量。最后，简要提及Kafka 3.0的发布和对Zookeeper的移除。

摘要由CSDN通过智能技术生成

kafka是一款消息中间件。作用是*********
这里主要说一下kafka的一些参数，本人在生产上遇到过很多kakfa的问题，如参数设置不当造成的内存溢出，占用的句柄数过高等。这里简单介绍几个参数

cpu与内存

CPU 一般不会是 Kafka 集群的瓶颈。常见的服务器 CPU 都没有问题。
kafka对磁盘与内存的操作是很多的，磁盘一般都是顺序读写，用到了页缓存技术(cache page)，kafka的.index和.timeIndex文件会映射到mmap中，我的理解就是页缓存里面，所以kafka的内存需要设置大一些

操作系统

内核的 Cache很大程序影响 Kafka 性能。但这部分的调优需要运维监控与相应的服务器调优。重点关注以下几个内核参数。
vm.dirty_background_ratio
vm.dirty_ratio
vm.dirty_expire_centisecs

kafka server端配置

num.network.threads: 默认值是 3。创建 Processor 处理网络请求线程个数，建议设置为 broker 当 CPU 核心数*2，这个值太低经常出现网络空闲太低而缺失副本。
num.io.threads: 默认值是 8。创建 KafkaRequestHandler 处理具体请求线程个数，建议设置为 broker 磁盘个数*2。但磁盘如果组了 RAID 后，建议可以实际测试一下磁盘阵列的 IOPS。对于 SSD，可以配置的更大一些。但不要配置超过核心数*2。
queued.max.requests: 默认值为 500。建议配置为 4000。在网络线程停止读取新请求之前，可以排队等待 I/O