Kafka 0.8版本升级为0.10版本时,消费代码需要做出一些修改,如下:
Kafka 0.8版本:
val kafkaParams = Map[String, String](
"metadata.broker.list" -> kafka_ip, //此处为kafka对应的IP
"refresh.leader.backoff.ms" -> "30000")
val lines = KafkaUtils
.createDirectStream[String, String, StringDecoder, StringDecoder]( //根据kafka数据中key value的类型进行选择,如String
ssc,
kafkaParams,
topics)
val infos = lines.reduceByKey((a: String, b: String) => YourFunc(a, b), 100) //此处可使用自己的方法对同一key下的多个value进行相关操作
Kafka 0.10版本:
val kafkaParams = Map[String, Object](
"bootstrap.servers" -> kafka_ip, //此处需将0.8中的“metadata.broker.list”改为“bootstrap.servers”
"key.deserializer" -> classOf[StringDeserializer], //需要在此处对kafka数据进行序列化
"value.deserializer" -> classOf[StringDeserializer],
"group.id" -> "my_test", //0.