kafka集群优化

• 优化启动脚本

• 优化配置项

一、优化启动脚本

cd  /kafka_2.11-1.1.1/bin (安装目录)

vim kafka-server-start.sh

配置JVM大小(默认是1G) 

我这里配置了 -Xmx8G -Xms4G"

-Xms：初始堆大小

-Xmx：最大堆大小

free -h  命令 查看当前内存大小

 total：总内存

userd：已使用内存

二、优化配置项

vim ../config/server.properties

1、修改线程大小 (根据机器性能分配)

      我这里改成了 9 和 18

查看CPU核数

cat /proc/cpuinfo| grep "physical id"| sort| uniq| wc -l

2、修改缓冲区大小

     我这里都设置了1G

3、修改日志保留时间(小时)

      log.retention.hour：保留多少小时(建议3天~7天)

4、开放日志保存磁盘策略(默认是注释掉的)

    使用默认配置即可、

    log.flush.interval.messages=10000   #数超过1000条就保存

    log.flush.interval.ms=1000 #每隔一秒保存一次

5、修改创建topic的默认分区数量

     num.partitions=3(如果集群有几台，建议配置几,默认是1)

6、修改副本保存策略

     也就是每个follow(副节点)从leade(主节点)同步数据的配置

num.replica.fetchers=3   #拉取线程数  根据本机性能设置
replica.fetch.min.bytes=1 #最小字节数  默认值即可
replica.fetch.max.bytes=5242880 #最大字节数 (5M~10M即可)
num.recovery.threads.per.data.dir=8 #启动时用于日志恢复的每个数据目录的线程数和在关闭时用于刷新的线程数 根据本机性能设置