向Spark集群部署提交(scala版)Spark程序时需要注意这些问题

1、scala_sdk版本的一致性

IDEA中的scala_sdk的版本要和引入jar包中scala的版本保持一致性。

以下是我引入的spark-2.2.0-bin-hadoop2.7安装包中的jar包：

可见需要的scala版本是2.11.8版本，因此在IDEA配置scala_sdk时也要使用2.11.8版本，否则在提交spark集群时会报如下错误：

java.lang.BootstrapMethodError: java.lang.NoClassDefFoundError: scala/runtime/LambdaDeserialize

2、hadoop版本的一致性

从spark-2.2.0-bin-hadoop2.7安装包的名字就可以判定hadoop需要的版本为2.7.x，我安装的为hadoop-2.7.3。

3、Linux中scala版本的一致性。

在linux中安装scala版本也最好安装成2.11.8版本的，但是在这里我安装的2.13.1,也可以正常运行，不知道以后会不会出现不兼容问题。