kafka消息发送的时候实现一次性语义机制,幂等操作和事务操作

kafka实现消息只被精准处理(发送)一次

kafka中实现这个功能的机制主要有两种,一种是幂等操作,另一种是事务操作

幂等操作

所谓的幂等操作是指一个操作无论你重复的操作多少遍,最终得到的结果都是一样的,就比如乘法中的乘1操作,无论你乘多少次1结果都是它本身,类似这种操作就叫做幂等操作。
在计算机中所谓的幂等操作,就是如果一个子程序是幂等的,那它必然不能修改系统的状态,这样不管运行这个子程序多少次,与改子程序关联的那部门系统状态保持不变。
在kafka中只需要在生产者程序中加上“enable.idempotence = true” 加上这样的一个配置就可以了。
但是上述的幂等操作是有局限的,它只能保证单分区上的幂等,不能跨会话,也就是说,你如果重启了Producer,那么久就会失去幂等性

事务操作

事务操作可以弥补幂等操作的缺点,跟传统的事务提供的安全性保障,即原子性(Atomicity),一致性(Consistency),隔离性(Isolation),持久性(Durability)。
它不惧怕producer进程的重启,也可以保证这个topic的消息都是精准一次处理。
实现事务操作也很简单,只需要两步:
第一步是开启幂等操作:“enable.idempotence = true”
第二步就是修改producer客户端的代码操作如下:


producer.initTransactions();
try {
            producer.beginTransaction();
            producer.send(record1);
            producer.send(record2);
            producer.commitTransaction();
} catch (KafkaException e) {
            producer.abortTransaction();
}

特别注意的一点是如果你的发送的是事务性的消息到topic中,那么你在消费的时候也要做对应的改变,具体操作如下
Consumer端操作要设置“isolation.level”的值,它对应的有两个值,一个是默认的“read_uncommitted”表示能读到任何的消息不论事务提交失败的还是成功地 ,第二个参数是“read_committed”,它表示只能消费事务提交成功的消息

有任何问题,欢迎加扫码咨询(备注好对应的技术呦)
在这里插入图片描述

  • 1
    点赞
  • 1
    收藏
    觉得还不错? 一键收藏
  • 0
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值