Spark踩坑：NoClassDefFoundError: org/apache/spark/streaming/dstream/DStream

在IDEA下，使用Maven构建Spark项目时，总是容易报如下错误：

java.lang.NoClassDefFoundError: org/apache/spark/streaming/dstream/DStream
at java.lang.Class.getDeclaredMethods0(Native Method)
at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
at java.lang.Class.getMethod0(Class.java:3018)
at java.lang.Class.getMethod(Class.java:1784)
at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.streaming.dstream.DStream
at java.net.URLClassLoader.findClass(URLClassLoader.java:381)
at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
… 7 more

经过查阅资料，这个错误的产生原因是，Maven库中SparkSteaming的Scope默认是Provided的，因此在运行的时候实际上并不会包含SparkSteaming相关的Jar包。因此，把Scope删去，或者改为Compile即可（默认即为Compile）。

   <dependency>
        <groupId>org.apache.spark</groupId>
        <artifactId>spark-streaming_2.11</artifactId>
        <version>2.3.1</version>
        <!--<scope>provided</scope>-->
    </dependency>

至此，问题解决。