kafka实现消息只被精准处理(发送)一次
kafka中实现这个功能的机制主要有两种,一种是幂等操作,另一种是事务操作,
幂等操作
所谓的幂等操作是指一个操作无论你重复的操作多少遍,最终得到的结果都是一样的,就比如乘法中的乘1操作,无论你乘多少次1结果都是它本身,类似这种操作就叫做幂等操作。
在计算机中所谓的幂等操作,就是如果一个子程序是幂等的,那它必然不能修改系统的状态,这样不管运行这个子程序多少次,与改子程序关联的那部门系统状态保持不变。
在kafka中只需要在生产者程序中加上“enable.idempotence = true” 加上这样的一个配置就可以了。
但是上述的幂等操作是有局限的,它只能保证单分区上的幂等,不能跨会话,也就是说,你如果重启了Producer,那么久就会失去幂等性
事务操作
事务操作可以弥补幂等操作的缺点,跟传统的事务提供的安全性保障,即原子性(Atomicity),一致性(Consistency),隔离性(Isolation),持久性(Durability)。
它不惧怕producer进程的重启,也可以保证这个topic的消息都是精准一次处理。
实现事务操作也很简单,只需要两步:
第一步是开启幂等操作:“enable.idempotence = true”
第二步就是修改producer客户端的代码操作如下:
producer.initTransactions();
try {
producer.beginTransaction();
producer.send(record1);
producer.send(record2);
producer.commitTransaction();
} catch (KafkaException e) {
producer.abortTransaction();
}
特别注意的一点是如果你的发送的是事务性的消息到topic中,那么你在消费的时候也要做对应的改变,具体操作如下
Consumer端操作要设置“isolation.level”的值,它对应的有两个值,一个是默认的“read_uncommitted”表示能读到任何的消息不论事务提交失败的还是成功地 ,第二个参数是“read_committed”,它表示只能消费事务提交成功的消息
有任何问题,欢迎加扫码咨询(备注好对应的技术呦)