Spark RDD宽依赖和窄依赖

Spark中RDD是相互依赖的，依赖关系分宽依赖和窄依赖

• 宽依赖
  宽依赖是指父RDD被多个子RDD所使用依赖，会产Shuffle，比如GroupByKey，Join等操作，如图所示：
  
  由于Key可能分布在不同的父分区中。在进行在Join或GroupByKey中，需要对相同Key的记录传输到同一个子RDD的分区中进行Join和GroupBy，因此会产生Shuffle，一个父RDD分区中被多个子RDD依赖，此称为宽依赖
• 窄依赖
  与之相反，如果父RDD分区只被子RDD一个分区所使用依赖，则为窄依赖，比如filter，map，，窄依赖不会产生Shuffle的过程如下如所示
  
  由上可看出。区分是宽窄依赖，只需看父RDD一个分区的数据流向，要是分区数据流向一个子分区的就是窄，反之流程2个或以上就是宽依赖

参考：https://blog.csdn.net/houmou/article/details/52531205