方式一、在kafka0.11版本以前,还没引入幂等性就是,这种方式解决重复消费的问题的。
设置acks=-1,kafka集群发生故障导致kafka的数据重复,在下游消费者消费数据的时候去重解决重复消费问题,这种方法的缺点是如果下游有很多消费者,那么要多次对数据进行去重,很麻烦。
方式二、利用 at least once + 幂等性 = exectly once
需要将producer的一个参数enable.idompotence设置为true即可。producer在初始化的时候会分配一个pid,发送的消息会附带一个sequence number,broker端会对<pid,partition,seqNumber>进行缓存,如果有多个<pid,partition,seqNumber>,broker只会持久化其中的一条数据。
缺点:这种方式只能解决单次会话单个分区的exectly once问题。
方法三、利用producer事务,保存一个全局唯一的transactionID,通过transactionID就可以找到之前挂掉的producerID。可以实现跨分区和跨会话。