打包Scala jar 包的正确步骤

实验目的：打包可运行的scala jar，上传到spark集群，提交执行

1.idea中编译运行代码，可成功运行

2.修改2处代码
//只配置appName，其他配置项注释掉
val conf=new SparkConf()
.setAppName("pageRank")
//文件加载路径设为空，在提交执行时设置该参数
val inputPath=args(0)
val links=sc.textFile(inputPath)

3.如果已经打包过，需要删除main/java目录下的manifest.mf文件

Manifest-Version: 1.0
Main-Class: org.apache.spark.examples.wordcount

4.file->project structure->artifacts-> + jar->from modules with dependencies

5.删除多余的jar包（很重要）
只留下一个 ：*** compile output
标明main class

6.build -> build artifacts->build/rebuild

打包成功后目录

7.注意 jar包提交到集群之前，需要手动删除 META-INF 文件夹中的 .mf文件！

 

转载于:https://www.cnblogs.com/moonlightml/p/9312192.html