核心概念：
Application
基于Spark的用户程序，包含了driver程序和集群的executor
Driver Program
运行main函数并且新建SparkContext的程序
Executor
在一个work node上为某应用启动的一个进程，负责运行任务。
Cluster Manager
在集群上获取资源的外部服务，standalone,Mesos,Yarn
Worker node
集群上可以运行应用代码的节点
Task
被送到某个Executor上的工作单元
Job
包含很多任务的并行计算，可以看做是Spark和action
Stage
一个job会被拆成多个任务
Master(standalone)：资源管理的主节点(进程)
Cluster Manager：在集群上获取资源的外部服务(例如standalone,Mesos,Yarn )
Worker Node(standalone)：资源管理的从节点(进程) 或者说管理本机资源的进程
Application：基于Spark的⽤用户程序，包含了driver程序和运行在集群上的executor程序
Driver Program：用来连接工作进程(Worker)的程序
Executor：是在一个worker进程所管理的节点上为某Application启动的⼀一个进程，该进
程负责运行任务，并且负责将数据存在内存或者磁盘上。每个应⽤用都有各自独⽴立的
executors
Task：被送到某个executor上的工作单元
Job：包含很多任务(Task)的并行计算，可以看做和action对应
Stage：⼀个Job会被拆分很多组任务，每组任务被称为Stage(就像Mapreduce分map task
和reduce task一样)
总结
一个application包含driver和executor,可以包含多个job(由action触发job),每个job可以根据拆成多个stage(根据宽依赖拆分)，每个stage又会有一组task,这组task会发到worker node上去运行，运行的时候会启动executor。
stage的task数由stage最后一个task的分区数决定(也是这个stage的并行度)。
每个task的计算逻辑，就是一个pipline(处理数据就跟流水线作业一样)
pipline什么时候落地磁盘？
1.shuffle write阶段
2.如果对某一个RDD执行了持久化。
application组成
Spark运行架构解析
RDD遇到宽依赖时会shuffle,以shuffle为边界划分stage
运行过程
SparkContext向集群申请资源，集群分配资源，执行excutor，驱动程序将Spark应用程序的相关代码文件传给excutor，在excutor上启动task，task执行完成之后向driver返回结果或直接写到外面的原生数据里面。
总结就是：
application向集群注册，申请资源，将代码发送到各个节点，在节点上运行各个task
DAGScheduler
TaskSchedule
根据运行时间跟最佳位置决定task放到哪个位置运行
集群架构
Local模式
本地模式，默认情况是本地运行模式。
./sbin/spark-submit.sh --master local[4]
standalone模式
standalone详细过程
Spark On Yarn架构解析
为什么YARN
共享资源，方便集群管理
回顾基本流程
Yarn cluster
Yarn standalone是0.9之前版本的叫法，1.0开始更名为Yarn cluster
Driver和AM是一起的，client是单独。
Spark Driver首选作为一个ApplicationMaseter在Yarn集群中启动，客户端提交给ResourceManger的每个job都会在集群的worker节点上分配一个唯一的AM。
由该AM管理权生命周期的应用。因为Dviver程序在Yarn中运行，所以事先不用启动Spark Master/Client，应用程序的运行结果不能在客户端显示(可以在history server中查看)
Yarn client
client和Driver在一起(运行在本地)AM只用来管理资源。
默认是client模式
在yarn-client模式下，Driver运行在client上，通过AM向RM获取资源。本地Driver负责与所有的executor container运行交换，并将结果汇总，结束掉终端，相当于kill掉这个spark应用，一般来说，如果运行结果仅仅返回到terminal的时候需要配置这个。
如何选择
运行结果希望终端可看，用client模式
运行结果过大，client看不了，用custer模式
数据存储到hdfs的建议用cluster
补：YARN
1.YARN概述
Apache Hadoop YARn 是一种新的Hadoop资源管理器，它是一个通用的资源管理系统，，可为上层应用提供统一的资源管理和调度。
2.Spark on Yarn配置部署
3.Spark on Yarn运行架构解析
4.其他配置和注释事项
Yarn在Hadoop生态中的位置
Yarn产生背景
随着互联网的告诉发展，数据急剧增加，Mapreduce这种基于磁盘的离线计算框架已经不能满足应用要求，从而出现一些新的计算框架，应对各种场景，包括内存计算框架，流式计算框架和迭代计算框架，而MRv1不能支持多种计算框架并存。
YARN基本架构
ResouceManager(RM)
ResouceManager负责集群资源的统一管理和调度，承担JobTracker的角色，整个集群只有一个可用状态。
1.处理客户端请求
2.启动或监控ApplicationMaster
3.监控NodeManger
4.资源的分配与调用
NodeManger(NM)
NodeManger管理YARN集群中的每个节点，NodeManger提供针对集群中每个节点的服务，从监督对一个容器的终身管理到监事资源和跟踪节点管理抽象容器，这些容器代表着可供一个特定应用程序使用的针对每个节点的资源，NM有以下作用：
1.管理单个节点上的资源
2.处理来自RM的命令
3.处理来自ApplicationMaster的命令
ApplicationMaster(AM)
每个应用有一个，负责应用程序管理。
ApplicationMaster负责协调来自RM的资源，并通过NM监事容器的执行和资源使用(CPU核心，内存)，但未来会带来机遇手头任务的新资源类型(比如图形处理单元或专用处理设备)，AM有以下作用：
1.负责数据的切分
2.为应用程序申请资源并分配给内部的任务
3.任务的监控与容错
Container
Container是YARN中的资源抽象，它封装了讴歌节点上的多维资源，如内存，磁盘，CPU,网络等，当AM向RM申请资源时，RM为AM返回的资源便是用Container表示的。YARN会为每个任务分配一个Container，且该任务只能使用该Container的资源，Container有以下作用：
1.对任务运行环境进行抽象，封装CPU，内存，等多维度的资源以及环境变量，启动没拿过来的任务运行的相关信息。
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
