Spark RDD 之间的依赖关系

RDD就是一个不可变的带分区的记录集合,Spark提供了RDD上的两类操作,转换(transformation)和动作(action)。

  • 转换是用来定义一个新的RDD,包括map, flatMap, filter, union, sample, join, groupByKey, cogroup, ReduceByKey, cros, sortByKey, mapValues等。
  • 动作是返回一个结果,包括collect, reduce, count, save, lookupKey。

1. 宽窄依赖

  • 依赖关系本质上刻画了一种数据流向;
  • 窄依赖:一父对一子,更严谨地说,最多有一个孩子;
  • 宽依赖:一父对多子;
    • 也即父节点对应的分区(partition)会划分为多份(需要 shuffle),分别由子节点进行处理;
    • 这时需要进行 shuffle,也即会依据Record的key进行数据重组,这个过程即为Shuffle(洗牌)
©️2020 CSDN 皮肤主题: 大白 设计师: CSDN官方博客 返回首页
实付0元
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、C币套餐、付费专栏及课程。

余额充值