spark core源码分析1 集群启动及任务提交过程

博客地址: http://blog.csdn.net/yueqian_zhu/

spark版本号：1.4.1

spark源码分析目的是在解读源码的过程中记录一些重要的步骤，加深自己的印象，或许也可以给别人提供一些帮助。

Standalone集群启动及任务提交过程详解

正常启动及job提交过程如下：

1. 启动master

2. 启动worker

3. 客户端提交application到master

4. master发送LaunchExecutor指令给相应worker

5. worker启动Executor进程

6. Executor将自己注册到driver中

7. 将spark job分解成多个task发散到各个Executor上运行

之后会将各个部分详细剖析。。。