一、项目打包方式
Spark项目打包有胖包和瘦包之分。胖包是指:除了自己写的运行代码外,还需要包代码中用到的所有依赖包一同打包,这样在不同的环境下调用该jar包时就不需要在拉取依赖包。瘦包是指:只将自己写的运行代码打包,不包含依赖,这种包只能在与本机器环境配置完全相同的情况下被调用。
注:idea中默认不编译scala代码,需要在pom.xml的plugins下添加如下代码:
<plugin>
<groupId>org.scala-tools</groupId>
<artifactId>maven-scala-plugin</artifactId>
<version>2.15.2</version>
<executions>
<execution>
<goals>
<goal>compile</goal>
<goal>testCompile</goal>
</goals>