目录
1 问题背景
- 至少一次(At Least Once)=ACK级别设置为-1+分区副本大于等于2+ISR里应答的最小副本数量大于等于2
- 最多一次(At Most Once) = ACK级别设置为0
- 总结:
At Least Once 可以保证数据不丢失,但是不能保证数据不重复;
At Most Once 可以保证数据不重复,但是不能保证数据不丢失。
精确一次(Exactly Once):对于一些非常重要的 信息,比如和钱相关的数据,要求数据既不能重复也不丢失。
kafka 0.11版本以后,引入了一项重大特性:幂等性事务。
2 方案1:幂等性
2.1 幂等性原理
幂等性就是指Producer不论向Broker发送多少次重复数据,Broker端都只会持久化一条,保证了不重复。
精确一次(Exactly Once)=幂等性+至少一次( ack = -1 + 分区副本数>=2+ISR最小副本数量>=2)。
重复数据的判断标准:具有<PID,Partition,SeqNumber>相同主键的消息提交时,Broker只会持久化一条。其中PID是Kafka每次重启都会分配一个新的;Partition表示分区号;Sequence Number是单调自增的。
所以幂等性只能保证的是在单分区单会话内不重复。
2.2 如何使用幂等性?
开启参数enable.idempotence默认为true, false关闭。
如果生产者在发送消息1的时候挂了,没有收到ack消息,重启生产者以后还会会重复发送。这就要考虑kafka事务了。
3 方案2 :Kafka事务
说明:开启事务,必须开启幂等性!
使用代码:
注一定要指定事务id: