spark RDD 宽依赖与窄依赖

版权声明:本文为博主原创文章,遵循 CC 4.0 by-sa 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/gaopu12345/article/details/79145980

我的新博客地址:geekgao.cn
RDD被设计为可以记录依赖关系,关系可以分为两类:窄依赖和宽依赖。

窄依赖:表示父亲 RDD 的一个分区最多被子 RDD 一个分区所依赖。
宽依赖:表示父亲 RDD 的一个分区可以被子 RDD 的多个子分区所依赖。

如下图,左边是窄依赖,右边是宽依赖:
RDD依赖

展开阅读全文

没有更多推荐了,返回首页