原因:
1、生产者发送数据到leader。
2、leader写完数据,ISR中的follower也拉取完数据了,但是在返回ack之前,leader宕机了。
3、此时生产者的没拿到ack(这个请求失败了),就会认为kafka没有拿到数据,就会重发数据。
kafka就又会重新保存这份重发数据,导致数据重复。
解决,新版的kafka加了个幂等性,用参数enable.idempotence=true就可以开启。
开启之后会使用poductorId、partition.id、seqNumber(消息序号,与offset不一样)这三个做缓存,用于判断重发的数据是否已经被leader以及follower保存过了,如果保存过了,就不会再保存,这样就避免重复消息了。