首先打开File->Project Structure。如图。
然后选择Artifacts->绿色加号->Jar->From moduleswith dependencies…如图
选择Main Class,如图
然后因为我们只是在Spark上运行的,所以我们要删除下图红框里多余的部分,保留WordCount.jar以及‘WordCount’ compile output。小提示,这里可以利用Ctrl+A全选功能,选中全部选项,然后,配合Crtl+鼠标左键进行反选,也就是按住Ctrl键的同时用鼠标左键分别点击WordCount.jar和‘WordCount’ compile output,从而不选中这两项,最后,点击页面中的删除按钮(是一个减号图标),这样就把其他选项都删除,只保留了WordCount.jar以及‘WordCount’ compile output。
然后我们点击Apply,再点击OK,如图
接着我们就可以导出Jar包了。选择Build->Build Artifacts…,在弹出的窗口选择Bulid就可以了。如下图:
导出的Jar包会在工程文件“/home/wordcount/”目录下的“out/artifacts/WordCount_jar”目录下。我们把他复制到/home/hadoop目录下。也就是主文件夹目录下,如下图
进入jar包所在路径:使用spark-submit --class WordCount ./WordCount.jar 命令提交打包的jar包。
/usr/local/spark-2.4.0-bin-hadoop2.6/bin/spark-submit --class scala文件下的主函数类名 ./jar包名.jar