Spark的RDD依赖分为窄依赖和宽依赖。窄依赖允许流水线计算，无数据混合；宽依赖伴随Shuffle，需全父分区计算。这种设计使Spark具有容错性，当RDD数据丢失时，可通过血缘关系恢复。窄依赖恢复更高效，仅需重算丢失分区，而宽依赖涉及多分区重算，开销大。Spark还使用检查点和日志持久化RDD，智能选择故障恢复策略。
RDD中不同的操作会使得不同RDD中的分区会产生不同的依赖。RDD中的依赖关系分为窄依赖（Narrow Dependency）与宽依赖（Wide Dependency），图9-10展示了两种依赖之间的区别。
窄依赖表现为一个父RDD的分区对应于一个子RDD的分区，或多个父RDD的分区对应于一个子RDD的分区；比如图9-10(a)中，RDD1是RDD2的父RDD，RDD2是子RDD，RDD1的分区1，对应于RDD2的一个分区（即分区4）；再比如，RDD6和RDD7都是RDD8的父RDD，RDD6中的分区（分区15）和RDD7中的分区（分区18），两者都对应于RDD8中的一个分区（分区21）。
窄依赖表现为一个父RDD的分区对应于一个子RDD的分区，或多个父RDD的分区对应于一个子RDD的分区；比如图9-10(a)中，RDD1是RDD2的父RDD，RDD2是子RDD，RDD1的分区1，对应于RDD2的一个分区（即分区4）；再比如，RDD6和RDD7都是RDD8的父RDD，RDD6中的分区（分区15）和RDD7中的分区（分区18），两者都对应于RDD8中的一个分区（分区21）。
最低0.47元/天 解锁文章
856
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
