Kafka 0.8升级至0.10消费时做出的改动

Kafka 0.8版本升级为0.10版本时，消费代码需要做出一些修改，如下：

Kafka 0.8版本：

val kafkaParams = Map[String, String](
  "metadata.broker.list" -> kafka_ip,  //此处为kafka对应的IP
  "refresh.leader.backoff.ms" -> "30000")
val lines = KafkaUtils
  .createDirectStream[String, String, StringDecoder, StringDecoder](  //根据kafka数据中key value的类型进行选择，如String
  ssc,
  kafkaParams,
  topics)
val infos = lines.reduceByKey((a: String, b: String) => YourFunc(a, b), 100)  //此处可使用自己的方法对同一key下的多个value进行相关操作
      

Kafka 0.10版本：

val kafkaParams = Map[String, Object](
  "bootstrap.servers" -> kafka_ip,   //此处需将0.8中的“metadata.broker.list”改为“bootstrap.servers”
  "key.deserializer" -> classOf[StringDeserializer],  //需要在此处对kafka数据进行序列化
  "value.deserializer" -> classOf[StringDeserializer],
  "group.id" -> "my_test",  //0.10版本的缓存需要将topic的分区和groupid作为key，此处group.id可自己定义名字
  "auto.offset.reset" -> "latest",
  "refresh.leader.backoff.ms" -> "30000")
var lines = KafkaUtils.createDirectStream[String, String](ssc, PreferConsistent, Subscribe[String, String](topicSet, kafkaParams));//createDirectStream的方式与0.8版不同，自行比较
val infos = lines.map(record => (record.key(),record.value()))//  注意：数据流中的每一项都是一个ConsumerRecord类，本步操作后可执行reduceByKey
val infos1 = infos.reduceByKey((a: String, b: String) => YourFunc(a, b), 100)

PS：解释得远不够，甚至存在些许问题，但是代码没有问题，亲测可消费数据，毕竟也是在网上查看了好多资料的（手动捂脸）。重要的是希望能帮助到有需要的人，同时自己也做个笔记：)