kafka-生产者数据重复有序

目录

1 问题背景

2 方案1：幂等性

2.1 幂等性原理

2.2  如何使用幂等性？

3 方案2 ：Kafka事务

4 如何保证数据有序？

---

1 问题背景

• 至少一次(At Least Once)=ACK级别设置为-1＋分区副本大于等于2+ISR里应答的最小副本数量大于等于2
• 最多一次（At Most Once) = ACK级别设置为0
• 总结:
  At Least Once 可以保证数据不丢失，但是不能保证数据不重复;
  At Most Once 可以保证数据不重复，但是不能保证数据不丢失。

精确一次（Exactly Once):对于一些非常重要的 信息，比如和钱相关的数据，要求数据既不能重复也不丢失。

kafka 0.11版本以后，引入了一项重大特性：幂等性事务。

2 方案1：幂等性

2.1 幂等性原理

幂等性就是指Producer不论向Broker发送多少次重复数据，Broker端都只会持久化一条，保证了不重复。

精确一次（Exactly Once)=幂等性＋至少一次( ack = -1 + 分区副本数>=2＋ISR最小副本数量>=2)。
重复数据的判断标准:具有<PID,Partition,SeqNumber>相同主键的消息提交时，Broker只会持久化一条。其中PID是Kafka每次重启都会分配一个新的;Partition表示分区号;Sequence Number是单调自增的。
所以幂等性只能保证的是在单分区单会话内不重复。

2.2  如何使用幂等性？

开启参数enable.idempotence默认为true, false关闭。

如果生产者在发送消息1的时候挂了，没有收到ack消息，重启生产者以后还会会重复发送。这就要考虑kafka事务了。

3 方案2 ：Kafka事务

说明：开启事务，必须开启幂等性！

 使用代码：

注一定要指定事务id：

4 如何保证数据有序 ？

单分区内有序