kafka手动修改offset

今天在使用kafka时,本来需要将数据发送到topicA,却将数据发送到了topicB,导致topicB的消费者组consumerB程序无法消费topicB的内容,直接退出,因此需要手动修改partition的offset使lag等于0

分区个数10个:

看了下网上关于这方面的资料不多,只找到了一个hortonworks上面的相对靠谱[1],查看offset:

./kafka-run-class.sh kafka.tools.GetOffsetShell --broker-list blackbox01.jry.com:6667 --topic baidu_crawl_feed_plain --time -1

但是offset相关信息应该是存储在了broker中,没找到topicB所在的consumer的offset.

最后使用的办法是修改了程序,依旧以consumerB的消费者组进行消费。

ref:

[1]:https://community.hortonworks.com/articles/81357/manually-resetting-offset-for-a-kafka-topic.html

以下是使用Java语言手动提交Kafka offset的示例代码: ```java import org.apache.kafka.clients.consumer.ConsumerRecord; import org.apache.kafka.clients.consumer.ConsumerRecords; import org.apache.kafka.clients.consumer.KafkaConsumer; import java.util.Collections; import java.util.Properties; public class KafkaConsumerExample { public static void main(String[] args) { Properties props = new Properties(); props.put("bootstrap.servers", "localhost:9092"); props.put("group.id", "test-group"); props.put("enable.auto.commit", "false"); // 关闭自动提交offset props.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); props.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props); consumer.subscribe(Collections.singletonList("test-topic")); try { while (true) { ConsumerRecords<String, String> records = consumer.poll(1000); for (ConsumerRecord<String, String> record : records) { System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value()); } consumer.commitSync(); // 手动提交offset } } finally { consumer.close(); } } } ``` 在上面的示例代码中,通过设置`enable.auto.commit`属性为`false`,关闭了Kafka Consumer的自动提交offset功能。在消费完一批消息后,调用`consumer.commitSync()`方法手动提交offset。这样可以更灵活地控制offset的提交,避免消息重复消费或漏消费的问题。
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值