Spark3运行模式介绍

今天给大家介绍下spark的几种执行方式，希望对大家开发有帮助

一、本地模式两线程运行

./bin/run-example SparkPi 10 --master local[2] #Spark Standalone

二、spark集群模式运行（需要启动spark或者集群）

./bin/spark-submit --class org.apache.spark.examples.SparkPi --master spark://ss3:7077 examples/jars/spark-examples_2.12-3.0.3.jar 100     #Spark on YARN

非高可用的，在master 参数里面，只是需要填写一个master就可以了

三、提交到yarn集群，使用yarn-client的模式 （无须启动spark）

$SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 1024M --executor-memory 1024M --total-executor-cores 1 $SPARK_HOME/examples/jars/spark-examples_2.12-3.0.3.jar 10

 四、提交到yarn集群，使用yarn-cluster模式 （无须启动spark）

 $SPARK_HOME/bin/spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode cluster --driver-memory 1024M --executor-memory 1024M --total-executor-cores 1 $SPARK_HOME/examples/jars/spark-examples_2.12-3.0.3.jar 100

总结
        感谢能看到这里的朋友😉

        本次的分享就到这里，猫头鹰数据致力于为大家分享技术干货😎

        如果以上过程中出现了任何的纰漏错误，烦请大佬们指正😅

        受益的朋友或对技术感兴趣的伙伴记得点赞关注支持一波🙏

        也可以搜索关注我的微信公众号【猫头鹰数据分析】，留言交流🙏