Spark的架构

spark架构：




Spark集群中Master负责集群整体资源管理和调度，Worker负责单个节点的资源管理。Driver程序是应用逻辑执行的起点，而多个Executor用来对数据进行并行处理。




Spark的构成 ： 


ClusterManager ： 在standalone模式中即为Master，主节点，控制整个集群，监控Worker。在YARN模式中为资源管理器。


Worker ： 从节点，负责控制计算节点，启动Executor或Driver。在YARN模式中为NodeManager，负责计算节点的控制。


Driver ： 运行Application的main()函数并且创建SparkContext。


Executor ： 执行器，是为某Application运行在worker node上的一个进程，启动线程池运行任务上。每个Application拥有独立的一组executors。


SparkContext ： 整个应用的上下文，控制应用的生命周期。


RDD ： Spark的基本计算单元，一组RDD形成之行的有向无环图RDD Graph。


DAG Scheduler ： 根据Job构建基于Stage的DAG，并提交Stage给TaskScheduler。


TaskScheduler &#