最近在spark on yarn模式下提交依赖集群运行的打包程序时总是无法运行。最终发现了自己的一些问题所在记录一下。
首先,由于之前配置hive on spark模式,在系统环境变量上配置过一个spark_home。结果让我无语的是我没使用这个环境变量配置目录下的spark,因为为了锻炼多种模式搭建spark,所以单独搭建了一个spark on yarn的模式,这个目录和环境变量上的是不同的,就导致一直报错寻找不到hadoop_conf_dir,因为环境变量下的spark没有配置相关的支持yarn的信息,而运行提交时会首先去寻找环境变量下的spark提交脚本,很自然就去寻找环境变量下的配置信息。解决非常简单,修改环境变量。
当我以为解决了问题时,再次去提交程序时,一直报ClassNotFoundException
考虑时打包问题,因此反复修改反复打包,但是没有修改到关键处。最后修改了下pom.xml内的打包依赖
<build>
<pluginManagement>
<plugins>
<!-- 编译scala的插件 -->
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<version>3.2.2</version>
</plugin>
<!-- 编译java的插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<version>3.5.1</version>
</plugin>
</plugins>
</pluginManagement>
<plugins>
<plugin>
<groupId>net.alchim31.maven</groupId>
<artifactId>scala-maven-plugin</artifactId>
<executions>
<execution>
<id>scala-compile-first</id>
<phase>process-resources</phase>
<goals>
<goal>add-source</goal>
<goal>compile</goal>
</goals>
</execution>
<execution>
<id>scala-test-compile</id>
<phase>process-test-resources</phase>
<goals>
<goal>testCompile</goal>
</goals>
</execution>
</executions>
</plugin>
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-compiler-plugin</artifactId>
<executions>
<execution>
<phase>compile</phase>
<goals>
<goal>compile</goal>
</goals>
</execution>
</executions>
</plugin>
<!-- 打包插件 -->
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-shade-plugin</artifactId>
<version>2.4.3</version>
<executions>
<execution>
<phase>package</phase>
<goals>
<goal>shade</goal>
</goals>
<configuration>
<filters>
<filter>
<artifact>*:*</artifact>
<excludes>
<exclude>META-INF/*.SF</exclude>
<exclude>META-INF/*.DSA</exclude>
<exclude>META-INF/*.RSA</exclude>
</excludes>
</filter>
</filters>
</configuration>
</execution>
</executions>
</plugin>
</plugins>
</build>
最后终于可以使用spark on yarn 的集群提交任务了。