使用 IntelliJ IDEA打包Spark应用程序

最新推荐文章于 2024-04-23 15:48:03 发布

a18406471832

最新推荐文章于 2024-04-23 15:48:03 发布

阅读量145

点赞数

文章标签：大数据开发工具 java

原文链接：http://www.cnblogs.com/SakerLiu/p/8734124.html

版权

因为是提交到集群，所以很多不必要的包是没必要的，首先点击file->project structure->Artificts，然后在jar文件下，把不必要的包去掉，只保留compile output，除非你是写akka程序，然后apply，再在文件点击build就行了，但是不需要setMaster，也可以设置，这样在提交的时候就不用输入了，文件一般存放在hdfs中。提交的命令是/opt/spark/bin/spark-submit --master spark:master:7077 hello.jar这样就可以了

转载于:https://www.cnblogs.com/SakerLiu/p/8734124.html