最最无语的异常：java.lang.NoClassDefFoundError: org/apache/kafka/common/errors/InvalidConfigurationException

最新推荐文章于 2024-07-25 18:31:24 发布

艾默生莱斯

最新推荐文章于 2024-07-25 18:31:24 发布

阅读量3.1k

点赞数

本文链接：https://blog.csdn.net/qq_38497133/article/details/108108072

版权

在使用Spark Streaming整合Kafka时遇到NoClassDefFoundError异常，排查依赖后发现，尽管依赖配置看似相同，但spark-streaming-kafka-0-8_2.11与kafka_2.12的顺序不同导致问题。经过多次验证，发现由于版本冲突，spark-streaming-kafka-0-8_2.11包含了kafka_2.11的jar包，与2.0.0版本冲突。解决方法是删除kafka_2.11的依赖，避免冲突，从而消除错误。

摘要由CSDN通过智能技术生成

今天在使用sparkStreaming 连接kafka时，出现了一个令人很无语的报错：如下：

2020-08-19 18:59:02,524 ERROR [org.apache.spark.executor.Executor] - Exception in task 0.0 in stage 0.0 (TID 0)
java.lang.NoClassDefFoundError: org/apache/kafka/common/errors/InvalidConfigurationException
	at kafka.consumer.ConsumerConfig.<init>(ConsumerConfig.scala:106)
	at kafka.consumer.ConsumerConfig.<init>(ConsumerConfig.scala:94)
	at org.apache.spark.streaming.kafka.KafkaReceiver.onStart(KafkaInputDStream.scala:99)
	at org.apache.spark.streaming.receiver.ReceiverSupervisor.startReceiver(ReceiverSupervisor.scala:149)
	at org.apache.spark