宽依赖：发生shuffle时，一定会产生宽依赖，宽依赖是一个RDD中的一个Partition被多个子Partition所依赖（一个父亲多有儿子），也就是说每一个父RDD的Partition中的数据，都可能传输一部分到下一个RDD的多个partition中，此时一定会发生shuffle
窄依赖：一个RDD中的一个 Partition最多 被一个 子 Partition所依赖（一个父亲有一个儿子）
本文深入探讨了Apache Spark中的两种关键依赖关系——宽依赖与窄依赖。宽依赖在数据转换过程中导致shuffle操作，使得一个RDD的分区数据可能分散到多个子RDD的分区中。窄依赖则保证每个父RDD的分区最多只被一个子RDD分区所依赖，避免了shuffle，提高了计算效率。了解这两种依赖对于优化Spark作业性能至关重要。
815
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
