java 订阅 kafka_尝试从kafka(0.10版本)访问kafka(0.90版本)时订阅方法抛出错误...

在0.10版本的Kafka集群和1.6版本的Spark集群中,尝试使用Spark消费0.9版本Kafka的数据时,遇到`subscribe()` API报错。生产者和使用KafkaUtils创建的消费者工作正常,但直接调用`subscribe()` API的消费者出现`NoSuchMethodError`。问题可能由于API不兼容导致。
摘要由CSDN通过智能技术生成

这是我们的开发环境

1)kafka集群 - 版本是0.10 2)Spark集群 - 1.6有0.9 Kafka jar

我们试图在spark集群模式下生成()和consume() . (通过spark-submit)

在运行spark-submit工作时,spark选择了0.9版本的kafka . 以下是我们的观察

1) 生产环境 者 - 工作正常(0.9 api和0.10 api 生产环境 者兼容)2)使用KafkaUtils流 Kafka 消费者 - 工作正常(似乎这里也是0.9 api和0.10 api 生产环境 者兼容)3)消费者使用subscribe()API - 错误输出以下消息 . 有人可以帮助我们知道它为什么失败了吗?

16/10/24 02:31:08错误yarn.ApplicationMaster:用户类抛出异常:java.lang.NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava / util / Collection;)V java .lang.NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava / util / Collection;)V com.com.comient.Client.main上的com.common.kafka.init(Kafkafunction.java:150) (client.java:100)at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.invoke:57)at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)at at java.lang.reflect.Method.invoke(Method.java:606)at org.apache.spark.deploy.yarn.ApplicationMaster $$ anon $ 2.run(ApplicationMaster.scala:542)16/10/24 02:31: 08 INFO yarn.ApplicationMaster:最终应用程序状态:FAILED,exitCode:15,(原因:用户类抛出异常:java.lang.NoSuchMethodError:org.apache.kafka.clients.consumer.KafkaConsumer.subscribe(Ljava / util / Collecti)上;)V)

  • 0
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值