写好spark程序提交cdh集群运行

spark2-submit --master yarn --deploy-mode cluster --class cn.chuangxin.scala.WordCount /root/original-SparkTestMe-1.0-SNAPSHOT.jar hdfs://xxx:8020/wc hdfs://xxx:8020/wcout0616

spark2-submit --conf spark.yarn.maxAppAttempts=1 --master yarn --deploy-mode cluster --class etl_cx_company_sparkRDD_yarn.cx_company_combine /opt/original-cx_company_combine-1.0-SNAPSHOT.jar --driver-memory 2g --executor-memory 2g --executor-cores 2

spark重试次数

失败重试次数，默认重试4次，前期任务调试阶段，重试次数最好设置为1，可以较快得到执行结果；后期业务上线，也使用默认参数

--conf spark.yarn.maxAppAttempts=1