Spark Worker原理和源码剖析解密

1.Spark源码剖析
2.Worker启动Driver源码
3.Worker启动Executor源码
4.Worker与Master交互

一：worker启动driver内幕和流程机制

1， Cluster中的Driver失败的时候，如果supervise为true，则启动该Driver的Worker会负责重新启动该Driver

2， DriverRunner启动进程是通过processBuilder中的process.get.waitFor来完成；

3， ExecutorRunner启动进程与DriverRunner类似：通过processBuilder中的process.waitFor来完成；