Spark中RDD的依赖关系

RDD 之间的关系可以从两个维度来理解: 一个是 RDD 是从哪些 RDD 转换而来, 也就是 RDD 的 parent RDD(s)是什么; 另一个就是 RDD 依赖于 parent RDD(s)的哪些 Partition(s). 这种关系就是 RDD 之间的依赖。
依赖 有 2 种策略:

1. 窄依赖(transformations with narrow dependencies)
2. 宽依赖(transformations with wide dependencies)
   宽依赖对 Spark 去评估一个 transformations 有更加重要的影响, 比如对性能的影响.

1 窄依赖

父 RDD 的每个分区最多被一个 RDD 的分区使用。

注：窄依赖的时候, 子 RDD 中的分区要么只依赖一个父 RDD 中的一个分区(比如map, filter操作), 要么在设计时候就能确定子 RDD 是父 RDD 的一个子集(比如: coalesce)。窄依赖的转换可以在任何的的一个分区上单独执行, 而不需要其他分区的任何信息。

2 宽依赖

父 RDD 的分区被不止一个子 RDD 的分区依赖, 就是宽依赖。

宽依赖工作的时候, 不能随意在某些记录上运行, 而是需要使用特殊的方式(比如按照 key)来获取分区中的所有数据，例如: 在排序(sort)的时候, 数据必须被分区, 同样范围的 key 必须在同一个分区内. 具有宽依赖的 transformations 包括: sort, reduceByKey, groupByKey, join, 和调用rePartition函数的任何操作。