提交并执行spark的jar包流程及注意事项

1. 前言

  主要是介绍windows环境下提交并执行spark的jar包流程及注意事项，linux环境提交步骤类似且更直观；

2. 步骤

2.1 打包

  我是直接用idea打包，没有用maven。
项目根目录右键 -> Open Module Settings -> Artifacts -> 点击+号 -> JAR -> From modules with dependencies -> 在Main Class里面找到本次需要执行的主类 -> 点击OK

2.2 执行

  到spark安装目录的bin目录下，cmd进入命令行，例如本地spark安装目录是D:\softwares\spark\spark-2.4.3-bin-hadoop2.7 打好的jar包放在D:\workspace\spark_workspace\SPARK_Demo\out\artifacts\SPARK_Demo_jar目录下
注意打完包需要将jar包中META-INF目录下的*.SF,.DSA,.RSA文件删除，即可。因为有些包有签名，导致执行时报错误: Invalid signature file digest for Manifest main attributes
在命令行直接输入:

spark-submit --class com.zero.scala.sparkCore.ReadAndWriteHdfs --master local D:\\workspace\\spark_workspace\\SPARK_Demo\\out\\artifacts\\SPARK_Demo_jar\\SparkReadWriteHdfs.jar