Spark提交任务的几种方式

目录

 

1.本地单机

2.standalone集群模式 driver在本地

3.standalone集群模式  driver在集群

4.yarn模式 driver在本地

5.yarn模式 driver在集群

---

1.本地单机

/bin/spark-submit \
        --master local[*] \

2.standalone集群模式 driver在本地

/bin/spark-submit \ 
        --master spark://mode1:7077 \
        --deploy-mode client \
        ...
        

3.standalone集群模式  driver在集群

/bin/spark-submit \
        --master spark://mode1:7077 \
        --deploy-mode cluster \
        ...
        

4.yarn模式 driver在本地

/bin/spark-submit \
        --master yarn-client \
        ...
等价于
/bin/spark-submit \
        --master yarn \
        --deploy-mode client \

5.yarn模式 driver在集群

/bin/spark-submit \
        --master yarn-cluster \
        ...
      
等价于
/bin/spark-submit \
        --master yarn \
        --deploy-mode cluster \
        ...