Spark 窄依赖、款依赖

 

 版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/Suubyy/article/details/81190460

1. 窄依赖 
   1. 定义：窄依赖英文为Narrow Dependency。在Spark中，我们具体操作的是RDD数据，而RDD是由多个Partition组成的，所以实际上我们真正操作的是Partition上的数据。当我们操作Partition上的数据的时候无非是两种情况，一种是Translation和Action、这两种操作都会有一个RDD产生另一个RDD，我们管前一个RDD叫做父RDD，管后一个RDD叫子RDD，在执行操作的时候，如果子RDD中的每个Partition中的数据与父RDD中的其中的一个Partition 的数据转换或者操作而来的，他们是一一对应的关系，那么我们就管这种依赖关系叫做窄依赖
   2. 图解： 
      
2. 款依赖 
   1. 定义：窄依赖英文为Narrow Dependency。在Spark中，我们具体操作的是RDD数据，而RDD是由多个Partition组成的，所以实际上我们真正操作的是Partition上的数据。当我们操作Partition上的数据的时候无非是两种情况，一种是Translation和Action、这两种操作都会有一个RDD产生另一个RDD，我们管前一个RDD叫做父RDD，管后一个RDD叫子RDD，在执行操作的时候，如果子RDD中的每个Partition的数据是由父RDD中的多个Partition中的一部分数据转换或者操作而来的，他们是多对多的对应的关系，那么我们就管这种依赖关系叫做宽依赖
   2. 图解：