kafka.storage为kafka时如修改设置用户组的offset

最新推荐文章于 2024-07-23 00:47:06 发布

hua_ed

最新推荐文章于 2024-07-23 00:47:06 发布

阅读量3.7k

点赞数

分类专栏： hadoop 文章标签： kafka

本文链接：https://blog.csdn.net/hua_ed/article/details/53747384

版权

在Kafka使用kafka.storage时，由于offset存储在__consumer_offsets主题中，不能直接修改。尝试使用kafka-python未成功。最终采用的方法是通过Java执行KafkaTool进行offset设置，例如将group1组在topicname主题的0分区offset设为100001。执行成功后，使用ConsumerOffsetChecker进行验证。

摘要由CSDN通过智能技术生成

因为offset信息存储在kafka的一个名为__consumer_offsets的topic中，没办法像zookeeper那样直接修改。

经过尝试用kafka-python，失败，正常执行完offset没变，也不是zookeeper存储模式。

下面是最后用的方法：

import java.util.Arrays;
import java.util.Properties;

import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.common.TopicPartition;

import cn.xxx.kafka.Message;

public class KafkaTool {

	private static String seek(String []args){
		String topic = args[2];
		int partition = Integer.parseInt(args[3]);
		int offset = Integer.parseInt(args[4]);
		
		Properties props = new Properties();
		props.put("bootstrap.servers", "localhost:9092");
		props.put("group.id", "group1");
		props.put("enable.auto.commit", "true");
		props.put("auto.commit.interval.ms", "1000");
		props.put("key.deserializer", "