Spark RDD算子整理 -- 转换算子 行动算子

转换算子操作：

• filter

过滤符合条件的记录数，true保留，false过滤掉。

• map

将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。

特点：输入一条，输出一条数据。

• flatMap

先map后flat。与map类似，每个输入项可以映射为0到多个输出项。

• sample

随机抽样算子，根据传进去的小数按比例进行有放回或者无放回的抽样。

• reduceByKey

将相同的Key根据相应的逻辑进行处理。

• sortByKey/sortBy

作用在K,V格式的RDD上，对key进行升序或者降序排序

• join,leftOuterJoin,rightOuterJoin,fullOuterJoin

作用在K,V格式的RDD上。根据K进行连接，对（K,V）join(K,W)返回（K,(V,W)）

• join后的分区数与父RDD分区数多的那一个相同。

• union

合并两个数据集。两个数据集的类型要一致。

• 返回新的RDD的分区数是合并RDD分区数的总和。

• intersection

取两个数据集的交集

• subtract

取两个数据集的差集

• mapPartition

与map类似，遍历的单位是每个partition上的数据。

• distinct(map+reduceByKey+map)  去重
• cogroup

当调用类型（K,V）和（K，W）的数据上时，返回一个数据集（K，（Iterable<V>,Iterable<W>））

• mapPartitionWithIndex

类似于mapPartitions,除此之外还会携带分区的索引值。

• repartition

增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle）

• coalesce

coalesce常用来减少分区，第二个参数是减少分区的过程中是否产生shuffle。

true为产生shuffle，false不产生shuffle。默认是false。

如果coalesce设置的分区数比原来的RDD的分区数还多的话，第二个参数设置为false不会起作用，如果设置成true，效果和repartition一样。即repartition(numPartitions) = coalesce(numPartitions,true)

• groupByKey

作用在K，V格式的RDD上。根据Key进行分组。作用在（K，V），返回（K，Iterable <V>）。

• zip

将两个RDD中的元素（KV格式/非KV格式）变成一个KV格式的RDD,两个RDD的个数必须相同。

• zipWithIndex

该函数将RDD中的元素和这个元素在RDD中的索引号（从0开始）组合成（K,V）对。

 

---

行动算子操作：

• count

返回数据集中的元素数。会在结果计算完成后回收到Driver端。

• take(n)

返回一个包含数据集前n个元素的集合。

• first

first=take(1),返回数据集中的第一个元素。

• foreach

循环遍历数据集中的每个元素，运行相应的逻辑。

• collect

将计算结果回收到Driver端。

• foreachPartition

遍历的数据是每个partition的数据。

• countByKey

 作用到K,V格式的RDD上，根据Key计数相同Key的数据集元素。

• countByValue

根据数据集每个元素相同的内容来计数。返回相同内容的元素对应的条数。

• reduce

根据聚合逻辑聚合数据集中的每个元素。