目录
一、简介
在提交大数据作业到集群上运行时,通常需要先将项目打成 JAR 包。这里以 Maven 为例,常用打包方式如下:
-
不加任何插件,直接使用 mvn package 打包;
-
使用 maven-assembly-plugin 插件;
-
使用 maven-shade-plugin 插件;
-
使用 maven-jar-plugin 和 maven-dependency-plugin 插件;
以下分别进行详细的说明。
二、mvn package
不在 POM 中配置任何插件,直接使用 mvn package
进行项目打包,这对于没有使用外部依赖包的项目是可行的。但如果项目中使用了第三方 JAR 包,就会出现问题,因为 mvn package
打的 JAR 包中是不含有依赖包,会导致作业运行时出现找不到第三方依赖的异常。这种方式局限性比较大,因为实际的项目往往很复杂,通常都会依赖第三方 JAR。
大数据框架的开发者也考虑到这个问题