kafka重复消费、漏消费情况

kafka重复消费的情况

数据没有丢，只是数据重复消费了。丢不丢数据指的是producer到broker的过程，以及broker存储数据的过程。重复消费、漏消费指的是消费结果，所以我们记忆这些过程的时候，或者定位问题的时候，首先应该明确，是丢数据了还是重复消费了。

重复消费

ack=-1

1. producer到broker数据因为网络问题，发送重复数据导致consumer消费重复
2. 先消费的数据，还没有提交offset 宕机了

kafka漏消费

ack=0

1. 数据直接因为网络问题丢失
2. 先提交的offset，然后consumer宕机了

kafka 事务

是这样的，要实现exactly once 只能针对单个分区、单次会话的情况（重启一次producer是一次会话）。如果，我重启了服务，那么pid就会变化，还是会造成重复消费的问题。这时候我们需要一个transactionID，这个id不是每次重启服务就会发，而是根据transactionconCoordinator 获得，并且与PID绑定，这样我们在重启服务以后，就可以根据transactionID找到我们的PID，broker也就能识别是否重复了。