关于kafka重新消费数据问题

关于kafka重新消费数据问题


我们在使用consumer消费数据时,有些情况下我们需要对已经消费过的kafka数据进行重新消费,这里介绍kafka中重新消费数据的方法。

1、重新使用新的消费组
通过不同的group来重新消费数据方法简单,但我们无法指定我们要重复消费哪些数据。这里需要注意的是新的group是重新消费所有数据,但也并非是topic中所有数据,它只会消费topic下现在存在的数据。

2、修改offset偏移量
我们在使用consumer消费的时候,每个topic会产生一个偏移量,这个偏移量保证我们消费的消息顺序且不重复。我们修改这个offest到我们想重新消费的位置,就可以做到重新消费了。

  • 客户端修改offset偏移量
    可以通过kafka客户端直接修改offset变量,需要注意的点是修改的消费者必须关闭才能进行修改
  • @KafkaListener注解修改

使用@KafkaListener注解的topicPartitions属性监听不同的partition分区。
@TopicPartition:topic–需要监听的Topic的名称,partitions --需要监听Topic的分区id。
partitionOffsets --可以设置从某个偏移量开始监听,@PartitionOffset:partition --分区Id,非数组,initialOffset --初始偏移量。

 @KafkaListener(groupId = "topic_group_test",topicPartitions = {
   
            @TopicPartition(topic = "topic_test",partitionOffsets = @PartitionOffset(partition = "0", initialOffset = "9830"))
    })
    public void topicConsumer(ConsumerRecord<?, ?> record, Acknowledgment ack, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {
   
        Optional message = Optional.ofNullable(record.value());
        if (message.
  • 1
    点赞
  • 4
    收藏
    觉得还不错? 一键收藏
  • 2
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 2
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值