kafka异步推送设置重试_一篇文章了解 Kafka 幂等性的原理及实践

01 幂等性如此重要

Kafka作为分布式MQ，大量用于分布式系统中，如消息推送系统、业务平台系统(如结算平台)，就拿结算来说，业务方作为上游把数据打到结算平台，如果一份数据被计算、处理了多次，产生的后果将会特别严重。

02 哪些因素影响幂等性

使用Kafka时,需要保证exactly-once语义。要知道在分布式系统中，出现网络分区是不可避免的，如果kafka broker 在回复ack时，出现网络故障或者是full gc导致ack timeout，producer将会重发，如何保证producer重试时不造成重复or乱序？又或者producer 挂了，新的producer并没有old producer的状态数据，这个时候如何保证幂等？即使Kafka 发送消息满足了幂等，consumer拉取到消息后，把消息交给线程池workers，workers线程对message的处理可能包含异步操作，又会出现以下情况：

• 先commit，再执行业务逻辑：提交成功，处理失败 。造成丢失
• 先执行业务逻辑，再commit：提交失败，执行成功。造成重复执行
• 先执行业务逻辑，再commit：提交成功，异步执行