kafka控制offset偏移量

最新推荐文章于 2024-05-28 20:30:50 发布

God_Ming

最新推荐文章于 2024-05-28 20:30:50 发布

阅读量4.8k

点赞数

分类专栏： kafka 文章标签： kafka

本文链接：https://blog.csdn.net/jinzhencs/article/details/78252189

版权

通过KafkaConsumer.seek()来控制offset.注意如果设置了手动提交需要
commitAsync()否则不生效。

使用场景:
1.消费抛异常 offset+1跳过
2.重新消费前面的数据(消息写入hbase失败重写)

try {
                    ConsumerRecords<String, String> consumerRecords = consumer.poll(pollMillions);
                    //key is null

                    for (ConsumerRecord<String, String> record : consumerRecords) {
                        sourceVistor.accept(sourceAdaptor.adapt(record.value()));

                        //计数器++
                        receiveCount.addAndGet(1);
                    }

                    if (!consumerRecords.isEmpty()) {
                        consumer.commitAsync();
                    }
                }

catch (RecordTooLargeException e2) {
                    //跳过,忽略这条过长的