Transformations转换算子

Transformations转换算子

• 概念: Transformations类算子是一类算子（函数）叫做转换算子，如map,flatMap,reduceByKey等。Transformations算子是延迟执行，也叫懒加载执行,需要Action算子触发才能运行

常用Transformations转换算子

filter: 过滤符合条件的记录数，true保留，false过滤掉

map:将一个RDD中的每个数据项，通过map中的函数映射变为一个新的元素。特点：输入一条，输出一条数据

flatMap:先map后flat。与map类似，每个输入项可以映射为0到多个输出项

sample:随机抽样算子，根据传进去的小数按比例进行又放回或者无放回的抽样

reduceByKey: 将相同的Key根据相应的逻辑进行处理

join,leftOuterJoin,rightOuterJoin,fullOuterJoin:作用在K,V格式的RDD上。根据K进行连接，对（K,V）join(K,W)返回（K,(V,W)）
join后的分区数与父RDD分区数多的那一个相同

union: 合并两个数据集。两个数据集的类型要一致。
返回新的RDD的分区数是合并RDD分区数的总和

intersection: 取两个数据集的交集

subtract: 取两个数据集的差集

mapPartition: 与map类似，遍历的单位是每个partition上的数据

distinct(map+reduceByKey+map) 去重

cogroup: 当调用类型（K,V）和（K，W）的数据上时，返回一个数据集（K，（Iterable,Iterable））

mapPartitionWithIndex: 类似于mapPartitions,除此之外还会携带分区的索引值。

repartition: 增加或减少分区。会产生shuffle。（多个分区分到一个分区不会产生shuffle）

coalesce: coalesce常用来减少分区，第二个参数是减少分区的过程中是否产生shuffle。
true为产生shuffle，false不产生shuffle。默认是false。
如果coalesce设置的分区数比原来的RDD的分区数还多的话，第二个参数设置为false不会起作用，如果设置成true，效果和repartition一样。即repartition(numPartitions) = coalesce(numPartitions,true)

groupByKey: 作用在K，V格式的RDD上。根据Key进行分组。作用在（K，V），返回（K，Iterable ）。

zip: 将两个RDD中的元素（KV格式/非KV格式）变成一个KV格式的RDD,两个RDD的每个分区元素个数必须相同。

zipWithIndex: 该函数将RDD中的元素和这个元素在RDD中的索引号（从0开始）组合成（K,V）对