spark on yarn 的运行模式

任务提交方式
sudo -u hadoop /srv/soft/spark-2.4.0-bin-hadoop2.7/bin/spark-submit
–master yarn
–deploy-mode cluster
–num-executors 5
–driver-memory 1g
–executor-memory 1g
–executor-cores 1
–files /srv/soft/spark-2.4.0-bin-hadoop2.7/conf/hive-site.xml
–class com.wutong.autopai.service.ParseIotLogJsonToHive
/opt/iot_log_parse/iot_log_parse.jar ${TODAY} ${MODE}

spark 服务applicationMaster ，executor，worker
yarn 服务 resource manager
分为提集群yarn cluster提交和 yarn client 提交方式
任务提交到spark 后 ，RDD object 被 DAG schedule 分成不同的阶段，来保证队列的不同阶段快照，每个队列会的任务通过task schedule 进行 分配任务 到 worker，每一个worker 通过 task.run方法 调取 executer 来执行任务。

DAG schedule 有容错机制，可以保存队列的快照，如果一旦出错，就会回滚

application master 通信 resource manager ，来分配 driver 的context，来调动资源

spark 的类继承图
待补充