Spark的宽依赖与窄依赖

最新推荐文章于 2025-01-25 22:28:53 发布

chilai4545

最新推荐文章于 2025-01-25 22:28:53 发布

阅读量131

点赞数

文章标签：大数据

原文链接：https://my.oschina.net/dreamness/blog/3094050

版权

窄依赖(Narrow Dependency)：一个父RDD的Partition只能被子RDD的某一个Partition使用一次
宽依赖(Wide Dependency)：发生了Shuffle。一个父RDD的Partition只能被子RDD的某一个Partition使用多次

PS: join不一定是什么依赖。
每当有Shuffle，就会拆分stage。
宽依赖以pipeline的方式运行，在一个stage中，一个Partition对应一个task。