16-kafka消息数据积压，kafka消费能力不足怎么处理

题目：kafka消息数据积压，kafka消费能力不足怎么处理

---

答案：

1.提高生产者吞吐量
（1）buffer.memory：发送消息的缓冲区大小，默认值是32m，可以增加到64m
（2）batch.size：默认是16k。如果batch设置太小，会导致频繁网络请求，吞吐量下降；如果batch太大，会导致一条消息需要等待很久才能被发送出去，增加网络延时
（3）linger.ms：这个值默认是0，意思是消息立即被发送。一般设置一个5-100ms。如果linger.ms设置的太小，会导致频繁网络请求，吞吐量下降；如果linger.ms太长，会导致一条消息需要等待很久才能被发送出去，增加网络延时
（4）compression.type：默认是none，不压缩，但是也可以使用lz4压缩，效率还是不错的，压缩之后可以减小数据量，提升吞吐量，但是会加大producer的CPU开销

2.提高消费者吞吐量
（1）如果是kafka消费能力不足，可以考虑增加下topic分区数，并且同时提升消费者组的消费者数量，消费者数=分区数（两者缺一不可）
（2）如果是下游数据处理不及时：提高每批次拉取的数量。拉取数据过少（拉取数据/处理时间<生产速度），使处理的数据小于生产的数据，也会造成数据积压

---