spark面试题—standalone模式下的提交流程

• spark-submit 提交代码，执行 new SparkContext()，在 SparkContext 里构造 DAGScheduler 和 TaskScheduler。
• TaskScheduler 会通过后台的一个进程，连接 Master，向 Master 注册 Application。
  （ Master 接收到 Application 请求后，会使用相应的资源调度算法，在 Worker 上为这个 Application 启动多个 Executor
• （Executor 启动后，会自己反向注册到 TaskScheduler 中。所有 Executor 都注册到 Driver 上之后，SparkContext 结束初始化，接下来往下执行我们自己的代码。
• 每执行到一个 Action，就会创建一个 Job。Job 会提交给 DAGScheduler。
• DAGScheduler 会将 Job 划分为多个 Stage，然后每个 Stage 创建一个 TaskSet。
• TaskScheduler 会把每一个 TaskSet 里的 Task，提交到 Executor 上执行。
• Executor 上有线程池，每接收到一个 Task，就用 TaskRunner 封装，然后从线程池里取出一个线程执行这个 task。(TaskRunner 将我们编写的代码，拷贝，反序列化，执行 Task，每个 Task 执行 RDD 里的一个 partition)