spark-submit报错

#!/bin/bash
set -e
/opt/app/spark-2.2.0/bin/spark-submit \
    --master yarn \
    --deploy-mode client \
    --executor-memory 18G \
    --num-executors 50 \
    --executor-cores 5 \
    --driver-memory 2G \
      --conf spark.default.parallelism=1000 \
      --conf spark.storage.memoryFraction=0.5 \
      --conf spark.shuffle.memoryFraction=0.3 \
    --class org.apache.spark.examples.ml.Hello spark-gbtlr-2.4.0-jar-with-dependencies.jar

 

提交执行任务时，遇到两个问题

1.报错如下，原因在于：去掉spark-submit \尾部空格 注：在Linux ，一条命令过长的情况下，可手动拆成多行，即使用 任意个空格加上反斜杠(\)，反斜杠后不能有任意字符，然后回车即可。

Error: Cannot load main class from JAR file:/data/zeus/job_dir/2019-07-26/manual-176529114/%09

2.解决方法：由于项目打包的时候，需要将打好包的jar文件中的 META-INF/*.RSA META-INF/*.DSA META-INF/*.SF 文件删掉

参考：