spark job的创建,以及DAG阶段的划分,Task的生成(ShuffMapTask和ResultTask)。
task 划分好之后,提交给executor去执行,分配给哪个executor执行,决定了作业的性能。由此根据task要计算的数据可分为以下五种。
ShuffleMapTask是shuffle写磁盘的过程
ResultTask 是reduce 读磁盘的过程
spark job的创建,以及DAG阶段的划分,Task的生成(ShuffMapTask和ResultTask)。
task 划分好之后,提交给executor去执行,分配给哪个executor执行,决定了作业的性能。由此根据task要计算的数据可分为以下五种。
ShuffleMapTask是shuffle写磁盘的过程
ResultTask 是reduce 读磁盘的过程