如何区分宽窄依赖?
1:1或者n:1 无shuffle,是窄依赖,n:n有shuffle是宽依赖。
从父RDD到子RDD的角度可以区分开,父RDD1个分区到子RDD的多个分区是宽依赖,到1个分区是窄依赖,要是从子RDD到父RDD的角度则是没区别,看不清了。
为啥窄依赖没有shuffle,而宽依赖有shuffle呢,应该是跟这个1:1或者n:1 ,还是 n:n 有关系,n:n才需要等所有shuffle结束,所有依赖都满足,才会进行下一stage,窄依赖就不用shuffle,一个stage内的多task就可以了。
窄依赖不搞shuffle,还有一个原因就是合并算子链,形成管道,且容错高,单个task出错,只需要计算单个task,不需要重新计算整个任务。
实际上stage的划分既可以说是按照宽依赖来划分的,也可以说是按照shuffle来划分的,每个stage内部都是窄依赖,是可能形成管道的,窄依赖是并行的,宽依赖是串行的。
Spark的宽依赖和窄依赖
最新推荐文章于 2024-01-24 13:00:23 发布
Spark的宽窄依赖是决定任务执行效率的关键因素。窄依赖允许1:1或n:1的关系,无shuffle操作,而宽依赖涉及n:n关系,需要shuffle。宽依赖导致stage划分,任务串行执行,而窄依赖能实现并行计算,提高效率,并具有更高的容错性。理解这两者有助于优化Spark作业性能。
摘要由CSDN通过智能技术生成