Spark中RDD与DAG的执行逻辑

Spark中RDD与DAG的执行逻辑

核心：
1.当Driver端向master申请完成后，调用worker，这时worker会同Driver端进行通信，将执行程序接收，从而执行逻辑。
2.当数据的规则被切分放到各个worker中时，因为规则的不完整，这时Driver端会将将各切分的数据进行拉回组合，形成完整的规则后，再以广播的形式（broadcast）发送到不同worker上。使得规则完整，从而进行后续数据的处理。
2.一个分区会产生一个task,