数据积压主要可以从两个角度去分析:
1. 如果是 Kafka 消费能力不足,则可以考虑增加 Topic 的分区数,并且同时提升消
费 组的消费者数量,消费者数=分区数。 (两者缺一不可)
2. 如果是下游的数据处理不及时:提高每批次拉取的数量。如果是因为批次拉取数据
过少(拉取 数据/处理时间<生产速度) ,也会使处理的数据小于生产的数据,造成数据积
压。
Kafka 的消息数据积 解决
最新推荐文章于 2023-06-30 21:48:58 发布
数据积压主要可以从两个角度去分析:
1. 如果是 Kafka 消费能力不足,则可以考虑增加 Topic 的分区数,并且同时提升消
费 组的消费者数量,消费者数=分区数。 (两者缺一不可)
2. 如果是下游的数据处理不及时:提高每批次拉取的数量。如果是因为批次拉取数据
过少(拉取 数据/处理时间<生产速度) ,也会使处理的数据小于生产的数据,造成数据积
压。