Spark打包WordCount程序的jar包

首先打开File->Project Structure。如图。

然后选择Artifacts->绿色加号->Jar->From moduleswith dependencies…如图

选择Main Class，如图

然后因为我们只是在Spark上运行的，所以我们要删除下图红框里多余的部分，保留WordCount.jar以及‘WordCount’ compile output。小提示，这里可以利用Ctrl+A全选功能，选中全部选项，然后，配合Crtl+鼠标左键进行反选，也就是按住Ctrl键的同时用鼠标左键分别点击WordCount.jar和‘WordCount’ compile output，从而不选中这两项，最后，点击页面中的删除按钮（是一个减号图标），这样就把其他选项都删除，只保留了WordCount.jar以及‘WordCount’ compile output。

然后我们点击Apply，再点击OK，如图

接着我们就可以导出Jar包了。选择Build->Build Artifacts…，在弹出的窗口选择Bulid就可以了。如下图：

导出的Jar包会在工程文件“/home/wordcount/”目录下的“out/artifacts/WordCount_jar”目录下。我们把他复制到/home/hadoop目录下。也就是主文件夹目录下，如下图

进入jar包所在路径：使用spark-submit --class WordCount ./WordCount.jar 命令提交打包的jar包。

/usr/local/spark-2.4.0-bin-hadoop2.6/bin/spark-submit --class scala文件下的主函数类名 ./jar包名.jar 
 

参考：http://dblab.xmu.edu.cn/blog/1327/