Spark——Transformation算子 & Action算子

Transformations转换算子

概念：
Transformations类算子是一类算子（函数）叫做转换算子，如map,flatMap,reduceByKey等。Transformations算子是延迟执行，也叫懒加载执行。

Transformation类算子：

• filter

过滤符合条件的记录数，true保留，false过滤掉。

• map

将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。
特点：输入一条，输出一条数据。

• flatMap

先map后flat。与map类似，每个输入项可以映射为0到多个输出项。

• sample

随机抽样算子，根据传进去的小数按比例进行又放回或者无放回的抽样。

• reduceByKey

将相同的Key根据相应的逻辑进行处理。

• sortByKey/sortBy

作用在K,V格式的RDD上，对key进行升序或者降序排序。

• join,leftOuterJoin,rightOuterJoin,fullOuterJoin

作用在K,V格式的RDD上。根据K进行连接，对（K,V）join(K,W)返回（K,(V,W)）
join后的分区数与父RDD分区数多的那一个相同。

• union

合并两个数据集。两个数据集的类型要一致。
返回新的RDD的分区数是合并RDD分区数的总和。

• intersection

取两个数据集的交集，返回新的RDD与父RDD分区多的一致

• subtract

取两个数据集的差集，结果RDD的分区数与subtract前面的RDD的分区数一致。

• mapPartitions

与map类似，遍历的单位是每个partition上的数据。

• distinct(map+reduceByKey+map)

• cogroup

当调用类型（K,V）和（K，W）的数据上时，返回一个数据集（K，（Iterable,Iterable）），子RDD的分区与父RDD多的一致。

Action行动算子

概念：
Action类算子也是一类算子（函数）叫做行动算子，如foreach,collect，count等。Transformations类算子是延迟执行，Action类算子是触发执行。一个application应用程序中有几个Action类算子执行，就有几个job运行。

Action类算子

• count

返回数据集中的元素数。会在结果计算完成后回收到Driver端。

• take(n)

返回一个包含数据集前n个元素的集合。

• first

first=take(1),返回数据集中的第一个元素。

• foreach

循环遍历数据集中的每个元素，运行相应的逻辑。

• collect

将计算结果回收到Driver端。

• foreachPartition

遍历的数据是每个partition的数据。