关于kafka重新消费数据问题
我们在使用consumer消费数据时,有些情况下我们需要对已经消费过的kafka数据进行重新消费,这里介绍kafka中重新消费数据的方法。
1、重新使用新的消费组
通过不同的group来重新消费数据方法简单,但我们无法指定我们要重复消费哪些数据。这里需要注意的是新的group是重新消费所有数据,但也并非是topic中所有数据,它只会消费topic下现在存在的数据。
2、修改offset偏移量
我们在使用consumer消费的时候,每个topic会产生一个偏移量,这个偏移量保证我们消费的消息顺序且不重复。我们修改这个offest到我们想重新消费的位置,就可以做到重新消费了。
- 客户端修改offset偏移量
可以通过kafka客户端直接修改offset变量,需要注意的点是修改的消费者必须关闭才能进行修改 - @KafkaListener注解修改
使用@KafkaListener注解的topicPartitions属性监听不同的partition分区。
@TopicPartition:topic–需要监听的Topic的名称,partitions --需要监听Topic的分区id。
partitionOffsets --可以设置从某个偏移量开始监听,@PartitionOffset:partition --分区Id,非数组,initialOffset --初始偏移量。
@KafkaListener(groupId = "topic_group_test",topicPartitions = {
@TopicPartition(topic = "topic_test",partitionOffsets = @PartitionOffset(partition = "0", initialOffset = "9830"))
})
public void topicConsumer(ConsumerRecord<?, ?> record, Acknowledgment ack, @Header(KafkaHeaders.RECEIVED_TOPIC) String topic) {
Optional message = Optional.ofNullable(record.value());
if (message.