kafka性能优化总结

硬件考量

1、内存。推荐使用32GB及以上内存的服务器，建议如下：

• 尽量分配更多的内存给操作系统的page cache；

• 不要为broker设置过大的堆内存，最好不超过6GB；

• page大小至少要大于一个日志段的大小；

2、CPU。Kafka不属于计算密集型（CPU-bound）的系统，应该追求多核而非高时钟频率，CPU核数最好大于8。

3、磁盘。推荐在配置中使用多目录，每个目录挂在在不同的磁盘（或者RAID）上，不要使用NAS，SSD没有必要。

磁盘容量规划考虑因素：

• 新增消息数；

• 消息留存时间；

• 平均消息大小；

• 副本数；

• 是否启用压缩

4、网络。分布式系统中，网络的速度和可靠性异常重要，千兆甚至万兆网络现在应该成为数据中心的标配，尽量避免跨机房网络。

5、文件系统。推荐ext4或xfs。

JVM

JDK1.8+ ，垃圾回收使用G1。

推荐配置可参考：

-Xms6g –Xmx6g 
-XX:PermSize=48m 
-XX:MaxPermSize=48m 
-XX:+UseG1GC-XX:MaxGCPauseMillis=20 
-XX:InitiatingHeapOccupancyPercent=35

File descriptors

kafka会使用大量文件和网络socket，所以，我们需要把file descriptors的默认配置改为100000。

配置合适的partitons数量

partition的数量一定要大于等于消费者的数量，一个partition就是一个存储kafka-log的目录

典型线上环境配置

CPU 24核心；
内存 32GB；
磁盘 1TB 7200转SAS盘2快；
带宽：1Gb/s；
ulimit -n 1000000；
Socket Buffer 至少64KB，适合于跨机房网络传输