java kafka设置偏移量_java – 如何使用Spark的Kafka直接流设置使用者组提交的偏移量？...

我正在尝试使用

Spark’s Direct Approach (No Receivers) for Kafka,我有以下Kafka配置图：

configMap.put("zookeeper.connect","192.168.51.98:2181");

configMap.put("group.id", UUID.randomUUID().toString());

configMap.put("auto.offset.reset","smallest");

configMap.put("auto.commit.enable","true");

configMap.put("topics","IPDR31");

configMap.put("kafka.consumer.id","kafkasparkuser");

configMap.put("bootstrap.servers","192.168.50.124:9092");

现在我的目标是,如果我的Spark管道崩溃并再次启动,则应该从使用者组提交的最新偏移量开始流.因此,为此目的,我想为消费者指定起始偏移量.我有关于每个分区中提交的偏移量的信息.我如何将此信息提供给流功能.目前我正在使用

JavaPairInputDStream kafkaData =

KafkaUtils.createDirectStream(js, byte[].class, byte[].class,

DefaultDecoder.class, DefaultDecoder.class,configMap,topic);