RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖
-
窄依赖,不会有shuffle的产生
-
父RDD和子RDD partition关系是一对一的
-
父RDD和子RDD partition关系是多对一的
-
-
宽依赖,会有shuffle的产生
-
RDD之间有一系列的依赖关系,依赖关系又分为窄依赖和宽依赖
窄依赖,不会有shuffle的产生
父RDD和子RDD partition关系是一对一的
父RDD和子RDD partition关系是多对一的
宽依赖,会有shuffle的产生
转载于:https://www.cnblogs.com/xiangyuguan/p/11221687.html