在SparkStreaming中使用KafkaUtils时报的错。网上都说是scala版本与spark版本的问题。
我使用的是spark2.2.0,scala是2.11,KafkaUtils是spark-streaming-kafka-0-8_2.11.jar包里的,这几个版本都是根据官网上的说明来的,所以没太搞懂,但是之前使用spark1.3时,就没有报过这个错,spark1.3里的KafkaUtils来自spark-examples-1.3.1-hadoop2.4.0.jar包。
所以,就拿过来用了,结果就没报错了。
java.lang.NoClassDefFoundError: scala/collection/GenTraversableOnce$class
最新推荐文章于 2024-04-28 08:58:42 发布