spark yarn 提交_spark的四种提交方式

本地运行模式

该模式被称为Local[N]模式，是用单机的多个线程来模拟Spark分布式计算，通常用来验证开发出来的应用程序逻辑上有没有问题。其中N代表可以使用N个线程，每个线程拥有一个core。如果不指定N，则默认是1个线程(该线程有1个core)。

spark-submit --class com.shangshi.WC --master local spark3.jar /root/th.txt   /root/sparktest/r.txt

运行该模式非常简单，只需要把Spark的安装包解压后，改一些常用的配置即可使用，而不用启动Spark的Master、Worker守护进程( 只有集群的Standalone方式时，才需要这两个角色)，也不用启动Hadoop的各服务(除非你要用到HDFS)

这个SparkSubmit进程既是客户提交任务的Client进程、又是Spark的driver程序、还充当着Spark执行Task的Executor角色。

本地伪集群运行模式

这种运行模式，和Local[N]很像，不同的是，它会在单机启动多个进程来模拟集群下的分布式场景，而不像Local[N]这种多个线程只能在一个进程下委屈求全的共享资源。通常也是用来验证开发出来的应用程序逻辑上有没有问题，或者想使用Spark的计算框架而没有太多资源。用法是：提交应用程序时使用local-cluster[x,y,z]参数：x代表要生成的executor数，y和z分别代表每个executor所拥有的core和memory数。

spark-submit --class com.shangshi.WC --master local-cluster[1,1,1024] spark3.jar /root/th.txt /root/sparktest/r6

Spark自带Cluster Manager的Standalone 模式

和单机运行的模式不同，这里必须在执行应用程序前ÿ