driver创建sparkContext,sparkContext向master申请资源,申请完资源之后,启动worker上面的excutor进程,启动之后,资源准备好了,等待driver把任务提交,sparkContext开始构建DAG,然后划分stage,将任务切分成task进行提交
spark原理解析
最新推荐文章于 2022-06-12 10:51:48 发布
driver创建sparkContext,sparkContext向master申请资源,申请完资源之后,启动worker上面的excutor进程,启动之后,资源准备好了,等待driver把任务提交,sparkContext开始构建DAG,然后划分stage,将任务切分成task进行提交