kafka简单调优

生产者

1、batch.size：默认是16384byte,也就是16kb，生产者发送多个消息到broker上的同一个分区时，为了减少网络请求带来的性能开销，通过批量的方式 来提交消息，可以通过这个参数来控制批量提交的字节数大小， 意味着当一批消息大小达到指定的batch.size的时候会统一发送。

2、linger.ms：默认0毫秒是立即发送，配置后会把两次发送时间间隔内收集到的所有Requests进行一次聚合然后再发送，以此提高吞吐量，而linger.ms就是为每次发送到broker的请求增加一些delay，以此来聚合更多的Message请求。

batch.size 和 linger.ms的作用是一样的，当二者都配置的时候，只要满足其中一个要求，就会发送请求到broker上。

消费者

1、max.poll.records：默认500条，限制每次调用poll返回的消息数，如果一次拉取太多消息在max.poll.interval.ms默认300秒内没有处理完就会被认为失败，然后重新rebalance再次发送消息。

2、max.poll.interval.ms：默认300秒，如果在该时间内没有处理完就会被认为失败，然后重新rebalance导致消息重复消费。

2、enable.auto.commit：默认是true，消费者消费消息以后自动提交，只有当消息提交以后，该消息才不会被再次接收到，为true时还可以配合 auto.commit.interval.ms控制自动提交的频率，默认5秒。 也可以通过consumer.commitSync()的方式实现手动提交。

消息堆积

产生消息堆积的原因可能是消息发送的速率远远大于消息消费的速率，或者是消费者出现问题无法消费。

当消息发送的速率远远大于消息消费的速率时，可以考虑topic分区来增加消费者数量，或者消费者使用多线程，还有一点要注意是如果有入库操作注意数据库IO是否跟得上。

消费者出现问题无法消费要排查代码，或者可以部署多个消费者，这里要注意了一个topic分区只能被一个消费者消费，一个消费者可以消费多个topic分区，比如topic只有一个分区，却有3个消费者，这样其中两个消费者会闲置起来造成资源浪费，比例最好为1:1。

 

kafka配置信息：http://kafka.apache.org/23/documentation.html#configuration