spark 本地idea运行：java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession

一、问题原因

spark程序，编译的打包到jar，并且上传到Linux服务器提交spark任务都是没问题的，但是，本地运行spark程序的时候报错

java.lang.NoClassDefFoundError: org/apache/spark/sql/SparkSession
	at java.lang.Class.getDeclaredMethods0(Native Method)
	at java.lang.Class.privateGetDeclaredMethods(Class.java:2701)
	at java.lang.Class.privateGetMethodRecursive(Class.java:3048)
	at java.lang.Class.getMethod0(Class.java:3018)
	at java.lang.Class.getMethod(Class.java:1784)
	at sun.launcher.LauncherHelper.validateMainClass(LauncherHelper.java:544)
	at sun.launcher.LauncherHelper.checkAndLoadMain(LauncherHelper.java:526)
Caused by: java.lang.ClassNotFoundException: org.apache.spark.sql.SparkSession
	at java.net.URLClassLoader.findClass(URLClassLoader.java:382)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:424)
	at sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:349)
	at java.lang.ClassLoader.loadClass(ClassLoader.java:357)
	... 7 more

二、问题原因

原因是pom.xml中加入 provided

        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-sql_2.10</artifactId>
            <version>2.11.8</version>
            <scope>provided</scope>
        </dependency>

provided作用是：编译环境可用，运行时则不可用，主要目的是打包时不将这些依赖打进来，因为服务器上有，以免包过大。

但是，本地运行时，却需要这些依赖，因为本地时没有这些依赖的，所以报错。解决办法就是去除provided即可。

三、解决办法

去除provided标签，同时，重新导入依赖。