1.用户提交作业,由driver创建一个SparkContext,分配并监控资源使用情况。
2.资源管理器为其分配资源,启动executor进程。
3.SparkContext根据RDD的依赖关系构建DAG图,提交给DAGScheduler解析成stage,然后提交给TaskScheduler,将stage划分为task发送给executor。
4.task在executor运行把结果反馈给TaskScheduler,一层层反馈上去,最后释放资源。
Spark工作机制
最新推荐文章于 2023-03-20 14:11:36 发布