RDD算子

版本2.2.0 具体可以去官网，我写在这边就是因为懒着去看官网…推荐大家去看官网…文本的美团调优也建议看看
Transformation算子
RDD中的所有转换都是延迟加载的，也就是说，它们并不会直接计算结果。相反的，它们只是记住这些 应用到基础数据集（例如一个文件）上的转换动作。只有当发生一个要求返回结果给Driver的动作时， 这些转换才会真正运行。这种设计让Spark更加有效率地运行。

转换	含义
map(func)	返回一个新的RDD，该RDD由每一个输 入元素经过func函数转换后组成
filter(func)	返回一个新的RDD，该RDD由经过func 函数计算后返回值为true的输入元素组 成
flatMap(func)	类似于map，但是每一个输入元素可以 被映射为0或多个输出元素（所以func应 该返回一个序列，而不是单一元素）
mapPartitions(func)	类似于map，但独立地在RDD的每一个 分片上运行，因此在类型为T的RDD上运 行时，func的函数类型必须是 Iterator[T] => Iterator[U]
mapPartitionsWithIndex(func)	类似于mapPartitions，但func带有一个 整数参数表示分片的索引值，因此在类 型为T的RDD上运行时，func的函数类型 必须是(Int, Iterator[T]) => Iterator[U]
sample(withReplacement, fraction, seed)	根据fraction指定的比例对数据进行采 样，可以选择是否使用随机数进行替 换，seed用于指定随机数生成器种子
union(otherDataset)	对源RDD和参数RDD求并集后返回一个 新的RDD
intersection(otherDataset)	对源RDD和参数RDD求交集后返回一个 新的RDD
distinct([numTasks]))	对源RDD进行去重后返回一个新的RDD
groupByKey([numTasks])	在一个(K,V)的RDD上调用，返回一个(K, Iterator[V])的RDD
reduceByKey(func, [numTasks])	在一个(K,V)的RDD上调用，返回一个 (K,V)的RDD，使用指定的reduce函数， 将相同key的值聚合到一起，与 groupByKey类似，reduce任务的个数 可以通过第二个可选的参数来设置
aggregateByKey(zeroValue)(seqOp, combOp, [numTasks])	相同的Key值进行聚合操作，在聚合过程 中同样使用了一个中立的初始值 zeroValue:中立值,定义返回value的类 型，并参与运算seqOp:用来在同一个 partition中合并值combOp:用来在不同 partiton中合并值
sortByKey([ascending], [numTasks])	在一个(K,V)的RDD上调用，K必须实现 Ordered接口，返回一个按照key进行排 序的(K,V)的RDD
sortBy(func,[ascending], [numTasks])	与sortByKey类似，但是更灵活
join(otherDataset, [numTasks])	在类型为(K,V)和(K,W)的RDD上调用，返 回一个相同key对应的所有元素对在一起 的(K,(V,W))的RDD
cogroup(otherDataset, [numTasks])	在类型为(K,V)和(K,W)的RDD上调用，返 回一个(K,(Iterable,Iterable))类型的RDD
cartesian(otherDataset)	笛卡尔积
pipe(command, [envVars]	将一些shell命令用于Spark中生成新的 RDD
coalesce(numPartitions)	重新分区
repartition(numPartitions)	重新分区
repartitionAndSortWithinPartitions(partitioner)	重新分区和排序

Action算子
在RDD上运行计算,并返回结果给Driver或写入文件系统

动作	含义
reduce(func)	通过func函数聚集RDD中的所有元素，这个功能必须是 可交换且可并联的
collect()	在驱动程序中，以数组的形式返回数据集的所有元素
count()	返回RDD的元素个数
first()	返回RDD的第一个元素（类似于take(1)）
take(n)	返回一个由数据集的前n个元素组成的数组
takeSample(withReplacement,num, [seed])	返回一个数组，该数组由从数据集中随机采样的num个 元素组成，可以选择是否用随机数替换不足的部分， seed用于指定随机数生成器种子
takeOrdered(n, [ordering])	takeOrdered和top类似，只不过以和top相反的顺序返 回元素
saveAsTextFile(path)	将数据集的元素以textfile的形式保存到HDFS文件系统或 者其他支持的文件系统，对于每个元素，Spark将会调用 toString方法，将它装换为文件中的文本
saveAsSequenceFile(path)	将数据集中的元素以Hadoop sequencefile的格式保存 到指定的目录下，可以使HDFS或者其他Hadoop支持的 文件系统。
saveAsObjectFile(path)
countByKey()	针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每 一个key对应的元素个数。
foreach(func)	在数据集的每一个元素上，运行函数func进行更新。

会产生shuffle的算子
1、repartition类的操作：比如repartition、repartitionAndSortWithinPartitions、coalesce等
2、byKey类的操作：比如reduceByKey、groupByKey、sortByKey等
3、join类的操作：比如join、cogroup等

重分区: 一般会shuffle，因为需要在整个集群中，对之前所有的分区的数据进行随机，均匀的打乱，然后把数据放入下游新的指定数量的分区内
byKey类的操作：因为你要对一个key，进行聚合操作，那么肯定要保证集群中，所有节点上的，相同的key，一定是到同一个节点上进行处理
join类的操作：两个rdd进行join，就必须将相同joinkey的数据，shuffle到同一个节点上，然后进行相同key的两个rdd数据的笛卡尔乘积

美团spark性能调优
美团spark调优基础篇
美团spark调优高级篇