Kafka 0.8升级至0.10消费时做出的改动

Kafka 0.8版本升级为0.10版本时,消费代码需要做出一些修改,如下:

Kafka 0.8版本:

val kafkaParams = Map[String, String](
  "metadata.broker.list" -> kafka_ip,  //此处为kafka对应的IP
  "refresh.leader.backoff.ms" -> "30000")
val lines = KafkaUtils
  .createDirectStream[String, String, StringDecoder, StringDecoder](  //根据kafka数据中key value的类型进行选择,如String
  ssc,
  kafkaParams,
  topics)
val infos = lines.reduceByKey((a: String, b: String) => YourFunc(a, b), 100)  //此处可使用自己的方法对同一key下的多个value进行相关操作

Kafka 0.10版本:

val kafkaParams = Map[String, Object](
  "bootstrap.servers" -> kafka_ip,   //此处需将0.8中的“metadata.broker.list”改为“bootstrap.servers”
  "key.deserializer" -> classOf[StringDeserializer],  //需要在此处对kafka数据进行序列化
  "value.deserializer" -> classOf[StringDeserializer],
  "group.id" -> "my_test",  //0.
  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值