Kafka消费端如何理解”精确一次性消费“

       精确一次性消费是指数据被消费后写入数据库的精确一次性;只要保证从Kafka读取数据之后写入数据库不丢失且不重复就可以。

        消费流程:消费端在消费到Kafka数据之后把消费到的数据进行业务处理后写入到数据库,写入成功之后再保存这次消费数据的偏移量。这个流程就可以保证消费到的Kafka数据写入到数据库不会丢失,也就是满足至少一次性消费,设计写入数据库中的唯一key来唯一标识每次写入数据库的记录,当key相同时数据被覆盖或者被抛弃,这样就保证数据库记录的不重复。

        补充:消费端写数据库时的精准一次性:消费者读取Kafka数据,然后消费者处理读取到的数据,以及最后向数据库写入处理后的结果。一旦任务(在任意环节)因为各种原因而失败那么任务就只能从头开始,从而重新读取Kafka的数据而为了避免失败后的任务不知道从Kafka的哪个位置开始读取数据,于是在消费端就需要记录每次消费成功之后也即是写入数据库成功后Kafka数据的偏移量;这样就算任务重启也知道从Kafka的哪个地方开始消费,但会有bug就是在一些特殊情况下数据消费完写数据库成功了但Kafka偏移量保存却失败了,或者Kafka的偏移量保存成功了而实际消费到的Kafka数据却并没有成功写入到数据库里。

  • 31
    点赞
  • 10
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值