Spark核心编程-RDD操作原理分析

一、union算子内部实现原理剖析

说明：将两个RDD合并，返回两个RDD的并集，返回元素不去重。

二、groupByKey算子内部实现原理剖析

说明：将RDD[K, V]中每个K对应的V值合并到一个集合Iterable[V]中。

三、reduceByKey算子内部实现原理剖析

说明：将RDD[K, V]中每个K对应的V值根据映射函数来运算。

四、distinct算子内部实现原理剖析

说明：去除RDD重复的元素，返回所有元素不重复的RDD。

五、cogroup算子内部实现原理剖析

说明：相当于SQL中的全外关联，返回左右RDD中的记录，关联不上的为空。

六、intersection算子内部实现原理剖析

说明：返回两个RDD的交集，返回元素去重。

七、join算子内部实现原理剖析

说明：内连接，基于cogroup实现，将两个RDD之间相同的key进行连接，不同的抛弃掉。

八、sortByKey算子内部实现原理剖析

九、cartesian算子内部实现原理剖析

十、coalesce算子内部实现原理剖析

说明：对RDD进行重新分区。两个参数：第一个参数为重分区的数目；第二个参数为是否进行shuffle，默认情况下为false。

十一、repartition算子内部实现原理剖析

说明：是coalesce函数第二个参数为true的实现。