全网最细~ Spark 之任务提交执行流程原理 《大力仑出品必属精品》

spark 任务提交执行流程

1.首先Worker 向Master 建立连接，进行RPC通信，把资源汇报给Master进行注册
2.Master 接收到Worker 发来的信息后，会保存Worker 发来的信息，并返回Worker 注册成功，Worker收到注册成功后会定期向Master 发送心跳，让Master 知道Worker 还活着
3.SparkSubmit(Driver)会向Master提交任务，并申请资源
4.Master从Worker信息里面找看那个Worker符合申请资源信息，Master 会跟符合条件的Worker进行RPC通信，让Worker启动Executor(将分区的参数传递过去)
5.Executor会通过Master 再通过Worker,找出Driver的位置，让后建立连接，形成完成的任务
6.Driver形成具体的任务后，会产生Task,然后通过网络发送给Executor,然后