kafka调优

1. 利用多磁盘并发读写，保证每个磁盘连续读写的特性。
   具体配置上，是将不同磁盘的多个目录配置到broker的log.dirs，例如
   log.dirs=/disk1/kafka-logs,/disk2/kafka-logs,/disk3/kafka-logs。
   JVM参数配置：
   设置垃圾回收器。推荐使用最新的G1来代替CMS作为垃圾回收器。 Broker中的JVM参数设置如下：
   -Xms30g -Xmx30g -XX:PermSize=48m -XX:MaxPermSize=48m
   -XX:+UseG1GC -XX:MaxGCPauseMillis=20
   -XX:InitiatingHeapOccupancyPercent=35
   Broker参数配置：
   配置优化都是修改server.properties文件中的参数。
   网络和io操作线程配置优化：

broker处理消息的最大线程数：

num.network.threads=xxx
# broker处理磁盘IO的线程数：
num.io.threads=xxx
log数据文件刷盘策略:
当kafka server的被写入海量数据后，会生成很多数据文件，且占有大量的磁盘空间，如果不及时处理，可能磁盘空间不够用，kafka默认保留时间是一周。
建议配置如下：
# 保留三天，也可以更短
log.retention.hours=72

段文件配置1GB，有利于快速回收磁盘空间，重启kafka加载也会加快(如果文件过小，则文件数量比较多，

kafka启动时是单线程扫描目录(log.dir)下所有数据文件)

log.segment.bytes=1073741824
配置jmx服务
Kafka server中默认是不启动jmx端口的，需要自己手动配置
[lizhitao@root kafka_2.10-0.8.1]$ vim bin/kafka-run-class.sh

最前面添加一行

JMX_PORT=8060
Replica相关配置
replica.lag.time.max.ms:10000
replica.lag.max.messages:4000
num.replica.fetchers:1

在Replica上会启动若干Fetch线程把对应的数据同步到本地，而num.replica.fetchers这个参数是用来控制Fetch线程的数量。

每个Partition启动的多个Fetcher，通过共享offset既保证了同一时间内Consumer和Partition之间的一对一关系，又允许我们通过增多Fetch线程来提高效率。

default.replication.factor:1

这个参数指新创建一个topic时，默认的Replica数量

Replica过少会影响数据的可用性，太多则会白白浪费存储资源，一般建议在2~3为宜。