kafka消费者

订阅主题:
在这里插入图片描述

以正则方式订阅,如果后续有新增的符合正则规则的也会加入消费

指定订阅某个topic分区
在这里插入图片描述

按partition进行消费
在这里插入图片描述

offset
消费者提交的offset,是当前读到的offset+1,代表下一次需要拉取的position的位置

提交方式(enable.auto.commit)默认是自动提交,提交周期是有auto.commit.interval.ms控制,默认5秒

指定offset进行消费:
当创建一个消费者组消费topic时,如果消费组是一个全新的或者当前消费者组在__consumer_offsets中保存的offset因为过期被删除,即无可消费的offset,亦或者offset设置的参数值越界,则会触发auto.offset.reset的参数,默认是latest,代表数据从最新的消费位置开始读取数据,如果设置为earliest,则从头开始消费数据

消费的优先级
__consumer_offsets存在offset>设置了auto.offset.rest的参数

如果需要追前消费或者回溯消费可以采用kafkaConsumer.seek()方法
如果需要从某个时间点开始消费,可以采用kafkaConsumer.offsetsForTime()

多线程消费数据
在这里插入图片描述

如果poll拉取的频率较少,可以考虑在处理数据时,开多个子线程提高处理数据的效率

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 1
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 1
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值