报错如下:
Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/streaming/StreamingContext
at SparkStreaming.Demo01$.main(Demo01.scala:10)
at SparkStreaming.Demo01.main(Demo01.scala)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.streaming.StreamingContext
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
... 2 more
Process finished with exit code 1
主要原因如下:
主要原因是:
pom中provided的作用是编译时需要,但是发布不需要。在通过spark-submit提交时,spark会提供需要的streaming包,
但是Intellij是通过java提交的,在运行时需要streaming的包,但是为未提供包,故报错!
为所以需要去掉上图钩花部分即可!