JavaInputDStream<ConsumerRecord<String, String>> kafkaDStream = KafkaUtils.createDirectStream( jsc, LocationStrategies.PreferConsistent(), ConsumerStrategies.Subscribe(topics, kafkaConsumerParams)); Map<String, OffsetRange[]> offset = new HashMap<String, OffsetRange[]>(2);
①当通过KafkaUtils.createDirectStream方法接收到kafka信息后返回的是JavaInputDStream类型的数据时,后续通过转换算子返回后的数据格式是JavaDStream。
②如果后续多个算子想用JavaInputDStream类型的数据,需要将代码拆开,分成多份,否则会报错