Spark RDD 算子整理 转换算子 行动算子

Transformation (lazy) : 也称转换操作、转换算子
Actions (non-lazy)：立即执行，也称动作操作、动作算子

对于转换操作，RDD的所有转换都不会直接计算结果
当遇到动作算子(Action)时才会进行真正计算

动作算子：
本质上动作算子通过SparkContext执行提交作业操作，触发RDD DAG（有向无环）的执行
所有的动作算子都是急迫型(non-lazy),RDD遇到Action就会立即计算

转换算子：

filter
过滤符合条件的记录数，true保留，false过滤掉

map
将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素

flatMap
先map后flat。与map类似，每个输入项可以映射为0到多个输出项

sample
随机抽样算子，根据传进去的小数按比例进行有放回或者无放回的抽样

reduceByKey
将相同的Key根据相应的逻辑进行处理

sortByKey/sortBy
作用在K,V格式的RDD上,对key进行升序或者降序排序

join,leftOuterJoin,rightOuterJoin,fullOuterJoin
作用在K,V格式的RDD上。根据K进行连接，对(K,V) join (K,W)返回 (K,(V,W))

join后的分区数与父RDD分区数多的那一个相同。

union
合并两个数据集。两个数据集的类型要一致。
返回新的RDD的分区数是合并RDD分区数的总和。

intersection
取两个数据集的交集

subtract
取两个数据集的差集

mapPartiton
与map类似，遍历的单位是每个partition上的数据。

distinct(map+reduceByKey+map) 去重
cogroup
当调用类型 (K,V)和（K,W）的数据上时，返回一个数据集(K, (Iterable,Iterable))

mapPartitonWithIndex
类似于mapPartitions,除此之外还会携带分区的索引值。

repartition
增加或减少分区。会产生shuffle。(多个分区到一个分区不会产生shuffle)

coalesce

coalesce常用来减少分区，第二个参数是减少分区的过程中是否产生shuffle。
true为产生shuffle，false不产生shuffle。默认是false。
如果coalesce设置的分区数比原来的RDD的分区数还多的话，第二个参数设置为false不会起作用，如果设置成true,效果和repartition一样。即repartition(numPartitjons) = coalesce(numPartitons,true)

groupByKey

作用在K,V格式的RDD上。根据Key进行分组。作用在 (K,V) ，返回（K, Iterable ）。

zip

将两个RDD中的元素(KV格式/非KV格式)变成一个KV格式的RDD，两个RDD的个数必须相同。

zipWithIndex

该函数将RDD中的元素和这个元素在RDD中的索引号（从0开始）组合成（K,V）对。

---

行动算子操作

count
返回数据集中的元素数。会在结果计算完成后回收到Driver端。

take(n)
返回一个包含数据集前n个元素的集合。

first
first=take(1),返回数据集中的第一个元素。

foreach
循环遍历数据集中的每个元素，运行相应的逻辑

collect
将计算结果回收到Driver端

foreachPartiton
遍历的数据是每个partition的数据

countByKey
作用到K,V格式的RDD上，根据Key计数相同Key的数据集元素

reduce
根据聚合逻辑聚合数据集中的每个元素。