Spark中RDD是相互依赖的,依赖关系分宽依赖和窄依赖
- 宽依赖
宽依赖是指父RDD被多个子RDD所使用依赖,会产Shuffle,比如GroupByKey,Join等操作,如图所示:
由于Key可能分布在不同的父分区中。在进行在Join或GroupByKey中,需要对相同Key的记录传输到同一个子RDD的分区中进行Join和GroupBy,因此会产生Shuffle,一个父RDD分区中被多个子RDD依赖,此称为宽依赖 - 窄依赖
与之相反,如果父RDD分区只被子RDD一个分区所使用依赖,则为窄依赖,比如filter,map,,窄依赖不会产生Shuffle的过程如下如所示
由上可看出。区分是宽窄依赖,只需看父RDD一个分区的数据流向,要是分区数据流向一个子分区的就是窄,反之流程2个或以上就是宽依赖
参考:https://blog.csdn.net/houmou/article/details/52531205