生产者重复生产消息问题:
kafka生产者生产消息到到partition,如果直接发送消息,kafka会将消息保存到分区中,但kafka会返回一个ack给生产者,表示当前操作是否成功,是否已经保存了这条消息。如果ACK响应的过程失败了,此时生产者会重试,继续发送成功的消息,假如没有开启幂等性,则kafka又会保存一条一模一样的消息。
在kafka中可以开启幂等性:props.put(“enable.idempotence”,true)
当kafka的生产者生产消息时,会增加一个pid(生产者的唯一编号)和sequence number(针对消息的一个递增序列)发送消息,会连着pid和sequence number一块发送kafka接收到消息,会将消息和pid,sequence number一并保存下来。
如果ACK响应失败,生产者重试,再次发送消息时,kafka会根据pid和sequence number检查是否需要再保存一条消息,需要判断生产者发送过来的sequence number是否小于等于partition中对应的sequence,如果小于等于则不保存,大于则保存。
kafka幂等性
最新推荐文章于 2024-04-13 10:53:18 发布