Spark本地调试报错

Spark本地调试报错

1.错误日志

(1) Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/SparkConf
(2) Exception in thread "main" java.lang.NoClassDefFoundError: org/apache/spark/sql/SQLContext

2.解决方案

查看maven (或者sbt)的 配置文件，将<scope>标签注释掉,或者修改 provided 为 compile

3.maven中scope 的作用

maven中使用 scope 来指定当前包的依赖范围和依赖的传递性。常见的可选值有：compile, provided, runtime, test, system 等

compile ：为默认的依赖有效范围。如果在定义依赖关系的时候，没有明确指定依赖有效范围的话，则默认采用该依赖有效范围。此种依赖，在编译、运行、测试时均有效。

provided ：在编译、测试时有效，但是在运行时无效。例如：servlet-api，运行项目时，容器已经提供，就不需要Maven重复地引入一遍了。

runtime ：在运行、测试时有效，但是在编译代码时无效。例如：JDBC驱动实现，项目代码编译只需要JDK提供的JDBC接口，只有在测试或运行项目时才需要实现上述接口的具体JDBC驱动。

test ：只在测试时有效，例如：JUnit。

system ：在编译、测试时有效，但是在运行时无效。和provided的区别是，使用system范围的依赖时必须通过systemPath元素显式地指定依赖文件的路径。由于此类依赖不是通过Maven仓库解析的，而且往往与本机系统绑定，可能造成构建的不可移植，因此应该谨慎使用。systemPath元素可以引用环境变量。

所以当我们scope的值为provided时，只能是在写代码时不会报错，但是在本地调试时加载不到所依赖的jar包。
调试时可以更改为compile ，上线时修改回来就可以了。。