Kafka参数之auto.offset.reset

本文探讨了在Kafka与流式处理框架整合中,消费者offset配置的重要性。讲解了'earliest'和'latest'两个常用取值的含义:前者会从已提交offset或开头消费,后者则从提交的offset或新数据开始。同时强调了不同消费者group之间数据的独立性。
摘要由CSDN通过智能技术生成

前言:

之所以要说下这个参数是因为,在做kafka和流式框架整合的时候,这个参数经常会被设置。之前发现自己理解的其实不到位,对于一些现象不能够很好的解释,后来才发现自己对于这个参数的理解有偏差,所以记录下。

常用取值的含义:

earliest
当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,从头开始消费
latest
当各分区下有已提交的offset时,从提交的offset开始消费;无提交的offset时,消费新产生的该分区下的数据



还需要注意的就是,当我们切换消费者group的时候,不同的group 之间数据是没有关系的。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值