Spark应用任务的提交流程

开发Spark应用,需要将应用打成计算jar包,上传到Spark集群。

接下来通过/spark-submit xxx.jar,初始化Driver Program。

Driver程序会进行一系列初始化操作,准备SparkContext对象(运行环境)。

请求分布式计算的资源管理器分配相应对应申请单位的计算资源,分布式资源管理器会分配空闲的计算节点,承担本次计算任务(反向注册)。

Driver程序分析DAG(有向无环图)施工图纸,挣个DAG实际上是由若干个Stage(阶段)构成,每一个Stage都是一个分布式计算的Task集合。

Driver程序依次将每一个Stage的Task集合提交到分布式计算集群,进行并计算。

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值