一 重复消费和漏消费
1.1 重复消费
重复消费:
已经消费了数据,但是
offset
没提交。
1.2 漏消费
二 解决重复消费和漏消费
如果想完成Consumer端的精准一次性消费,那么需要Kafka消费端将消费过程和提交offset
过程做原子绑定。此时我们需要将Kafka的offset保存到支持事务的自定义介质(比 如
MySQL)。
三 数据挤压怎么提高吞吐量
1.如果是Kafka消费能力不足,消费者数量较少,则可以考虑增 加Topic的分区数,并且同时提升消费组的消费者
数量,
消费者数
=
分区数
。(两者缺一不可)
2.如果是下游的数据处理不及时:
提高每批次拉取的数 量
。批次拉取数据过少(拉取数据
/
处理时间
<
生产速度), 使处理的数据小于生产的数据,也会造成数据积压。
3.参数说明