当一个job提交后,最后一个RDD执行action算子从所有的父级依赖查找shuffle依赖,找到shuffle依赖后创建一个shuffle map stage,在stage中的必定是narrow依赖,narrow依赖中的是task任务,有多少个partition就有多少个task,多个task称作taskset任务集,一个任务集就是一个stage,task在进程上运行,运行完后释放所有资源。
RDD(弹性分布式数据集):是一个抽象概念,spark计算过程中一个瞬时结果。
shuffle依赖:宽依赖,父级RDD的分区被子级RDD多个分区所使用。
narrow依赖:窄依赖,父级RDD的分区被子级RDD一个分区使用。
task:是spark中最小的计算单元。
有不对的地方还希望有大神指出来,及时改正,感谢。