一步一个脚印,一天一道面试题
1.增加 Topic
分区及消费者数。
如果是Kafka消费能力不足,则可以考虑增加Topic的分区数,并且同时提升消费组的消费者数量,消费者数=分区数。(两者缺一不可)
2.增加每批次拉取数量。
如果是下游的数据处理不及时:提高每批次拉取的数量。批次拉取数据过少(拉取数据/处理时间<生产速度),使处理的数据小于生产的数据,也会造成数据积压。
3.优化消费者代码。
许多时候,Kafka消费积压是消费的不及时。可能需要看看消费者组件,比如 Flink
是否有性能问题。
我是 Jiweilai,祝你变得更强!