Spark天堂之门笔记

一、Spark天堂之门：SparkContext
1. Spark程序在运行时分为Driver和Executors两部分；
2. Spark程序编写基于SparkContext，具体包含两个方面：
Spark编程的核心基础是RDD，第一个RDD一定是由SparkContext创建的；
Spark程序的调度优化也是基于SparkContext实现。
3. Spark程序注册时通过SparkContext实例化时产生的对象完成（实际上通过SchedulerBackend来注册程序）；
4. Spark程序运行时通过Cluster Manager获得具体的计算资源，计算资源的获取也是通过SparkContext产生的对象来申请的（实际上通过SchedulerBackend来获取计算资源)；
5. SparkContext崩溃或者结束时整个Spark程序就结束了。
SparkContext开启天堂之门：Spark程序通过SparkContext发布到Spark集群；
SparkContext导演天堂世界：Spark程序的运行都是在SparkContext为核心的调度器指挥下进行的；
SparkContext关闭天堂之门：SparkContext崩溃或者结束时整个Spark程序就结束。
二、SparkContext天堂内幕
1.SparkContext构建的顶级三大核心对象：DAGScheduler、TaskScheduler、SchedulerBackend，其中：
DAGScheduler是面向Job的Stage的高层调度器；
TaskSchedule是接口，根据具体的Cluster Manager的不同会有不同的实现，Standalone模式下具体的实现是TaskSchedulerlmpl；
SchedulerBackend也是接口，根据具体的Cluster Manager的不同会有不同的实现，Standalone模式下具体的实现是SparkDeploySchedulerBackend；
2. 从整个程序运行的角度来讲，SparkContext包含四大核心对象：DAGScheduler、TaskScheduler、SchedulerBackend、MapOutputTrackerMaster。

SparkContext内幕

SparkDeploySchedulerBackend的三种核心功能：
负责与Master链接注册当前程序；
接收集群中为当前应用程序而分配的计算资源Executor的注册及管理；
负责发送Task到具体的Executor执行；
SparkDeploySchedulerBackend被TaskSchedulerlmpl管理。

当通过SparkDeploySchedulerBackend注册程序给Master时把上述command提交给Master，Master发指令给Worker去启动Executor所在的进程的时候加载的main方法所在的入口类就是command中的CoarseGrainedExecutorBackend，也可以实现自己的ExecutorBackend。在CoarseGrainedExecutorBackend中启动Executor（Executor是先注册再实例化)，Executor通过线程池并发执行Task