配置安装
需要提前配置好hadoop集群,以及Spark。之前均已安装。
之后启动HDFS及yarn集群。
配置指向HADOOP_CONF_DIR或YARN_CONF_DIR的指向Hadoop集群的(客户端)配置文件的目录。
运行模式
Spark on yarn运行模式分为两种,cluster模式和client模式。
在YARN模式下,资源管理器的地址从Hadoop配置中获取。因此,–master参数是yarn。
cluster模式
在cluster模式下,Spark驱动程序在应用程序主进程内运行,该进程由群集上的YARN管理,客户端可以在启动应用程序后消失。
官网案例计算PI
spark-submit --class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
--driver-memory 1g \
--executor-memory 1g \
--executor-cores 1 \
/export/servers/spark/examples/jars/spark-examples_2.11-2.0.2.jar \
10
client模式
在client模式下,驱动程序在客户端进程中运行,应用程序主服务器仅用于从YARN请求资源。
spark-submit --class org.apache.spark.examples.SparkPi
–master yarn
–deploy-mode client
–driver-memory 1g
–executor-memory 512m
–executor-cores 1
/export/servers/spark/examples/jars/spark-examples_2.11-2.0.2.jar
10
spark-shell必须使用client模式
spark-shell --master yarn --deploy-mode client
cluster模式和client模式的区别
cluster模式:
Driver程序在YARN中运行,应用的运行结果不能在客户端显示。
所以最好运行那些将结果最终保存在外部存储介质(如HDFS、Redis、Mysql)而非stdout输出的应用程序,客户端的终端显示的仅是作为YARN的job的简单运行状况。
client模式:
Driver运行在Client上,应用程序运行结果会在客户端显示。
所有适合运行结果有输出的应用程序(如spark-shell)。
原理
cluster模式
Spark Driver首先作为一个ApplicationMaster在YARN集群中启动,客户端提交给ResourceManager的每一个job都会在集群的NodeManager节点上分配一个唯一的ApplicationMaster,由该ApplicationMaster管理全生命周期的应用。具体过程:
-
由client向ResourceManager提交请求,并上传jar到HDFS上,主要向ResourceManager请求资源。
这期间包括四个步骤:
a).连接到ResourceManager
b).从ResourceManager的ASM(ApplicationsManager )中获得metric、queue和resource等信息。
c). upload app jar and spark-assembly jar
d).设置运行环境和container上下文(launch-container.sh等脚本) -
ResourceManager为该应用程序分配第一个Container,创建Spark ApplicationMaster(每个SparkContext都有一个ApplicationMaster);
-
NodeManager 启动ApplicationMaster,并向ResourceManager注册;
-
ApplicationMaster从HDFS中找到jar文件,启动SparkContext、DAGscheduler和YARN Cluster Scheduler
-
ApplicationMaster 向ResourceManager注册申请container资源
-
ResourceManager 通知NodeManager分配Container(每个container对应一个executor)
-
Spark ApplicationMaster直接和container(executor)进行交互,完成这个分布式任务。
client模式
在client模式下,Driver运行在Client上,通过ApplicationMaster向ResourceManager获取资源。
在哪台机器提交的任务,哪台机器就是Driver端。本地Driver负责与所有的executor container进行交互,并将最后的结果汇总。结束掉Client端,相当于kill掉这个spark应用,Driver端也即死亡。
一般来说,如果运行的结果仅仅返回到terminal上时需要配置这个模式。
客户端的Driver将应用提交给Yarn后,Yarn会先后启动ApplicationMaster和executor,另外ApplicationMaster和executor都是装载在container里运行,container默认的内存是1G,ApplicationMaster分配的内存是driver- memory,executor分配的内存是executor-memory。同时,因为Driver在客户端,所以程序的运行结果可以在客户端显示,Driver以进程名为SparkSubmit的形式存在。
如图:结束掉客户端,会报无法连接Driver