一、spark运行模式
在实际引用中,spark应用程序运行模式取决于传递给sparkContext的master环境变量的值。目前所支持的master环境变量由特定的字符串或者URL组成,
Spark基本工作流程如下图:
运行模式列举如下所示:
1,Local[N]:本地模式,使用N个线程。
2,Local cluster[worker, core, Memory]:伪分布式模式,可以配置所需要启动的虚拟工作节点的数量,以及每个工作节点所管理的CPU数量和内存尺寸。
3,Spark://hostname:port:Standalone模式,需要部署Spark到相关节点,URL为Spark Master主机地址和端口。
4,Mesos://hostname:port:Mesos模式,需要部署Spark和Mesos到相关节点,URL为Mesos主机地址和端口。
5,YARN standalone/Yarn cluster:YARN模式一,主程序逻辑和任务都运行在YARN集群中。
YARN client:YARN模式二,主程序逻辑运行在本地,具体任务运行在YARN集群中。,
二、spark运行原理(本介绍全部用图的方式展现)
1,Local模式内部实现原理
2,Standalone运行原理
3,local cluster(伪分布式)运行原理
4,Mesos运行原理
5,yarn cluster运行原理
6,yarn client运行原理