Kafka 0.8版本升级为0.10版本时,消费代码需要做出一些修改,如下:
Kafka 0.8版本:
val kafkaParams = Map[String, String](
"metadata.broker.list" -> kafka_ip, //此处为kafka对应的IP
"refresh.leader.backoff.ms" -> "30000")
val lines = KafkaUtils
.createDirectStream[String, String, StringDecoder, StringDecoder]( //根据kafka数据中key value的类型进行选择,如String
ssc,
kafkaParams,
topics)
val infos = lines.reduceByKey((a: String, b: String) => YourFunc(a, b), 100) //此处可使用自己的方法对同一key下的多个value进行相关操作
Kafka 0.10版本:
val kafkaParams = Map[String, Object](
"bootstrap.servers" -> kafka_ip, //此处需将0.8中的“metadata.broker.list”改为“bootstrap.servers”
"key.deserializer" -> classOf[StringDeserializer], //需要在此处对kafka数据进行序列化
"value.deserializer" -> classOf[StringDeserializer],
"group.id" -> "my_test", //0.10版本的缓存需要将topic的分区和groupid作为key,此处group.id可自己定义名字
"auto.offset.reset" -> "latest",
"refresh.leader.backoff.ms" -> "30000")
var lines = KafkaUtils.createDirectStream[String, String](ssc, PreferConsistent, Subscribe[String, String](topicSet, kafkaParams));//createDirectStream的方式与0.8版不同,自行比较
val infos = lines.map(record => (record.key(),record.value()))// 注意:数据流中的每一项都是一个ConsumerRecord类,本步操作后可执行reduceByKey
val infos1 = infos.reduceByKey((a: String, b: String) => YourFunc(a, b), 100)
PS:解释得远不够,甚至存在些许问题,但是代码没有问题,亲测可消费数据,毕竟也是在网上查看了好多资料的(手动捂脸)。重要的是希望能帮助到有需要的人,同时自己也做个笔记:)