spark算子

pyspark-RDD
Spark本地: Scala实例
下面是我以前总结的一些常用的Spark算子以及Scala函数：

map()：将原来 RDD 的每个数据项通过 map 中的用户自定义函数 f 映射转变为一个新的元素。

mapPartitions(function) ：map()的输入函数是应用于RDD中每个元素，而mapPartitions()的输入函数是应用于每个分区。

mapValues(function) ：该操作只会改动value

flatMap(function) ：并将生成的 RDD 的每个集合中的元素合并为一个集合

flatMapValues(function)：通过上面的例子可知，该操作也是只操作value，不改变key。

reduceByKey(func,numPartitions：用于对每个key对应的多个value进行merge操作

groupByKey(numPartitions)：将元素通过函数生成相应的 Key，数据就转化为 Key-Value 格式，之后将 Key 相同的元素分为一组。

sortByKey(accending，numPartitions)

cogroup(otherDataSet，numPartitions)

join(otherDataSet,numPartitions)：找出左右相同同的记录

LeftOutJoin(otherDataSet，numPartitions)：以左边表为准，逐条去右边表找相同字段，如果有多条会依次列出

RightOutJoin(otherDataSet, numPartitions)

lookup()：查询指定的key，u返回其对应的value。

filter()： filter 函数功能是对元素进行过滤，对每个 元 素 应 用 f 函 数， 返 回 值 为 true 的 元 素 在RDD 中保留，返回值为 false 的元素将被过滤掉。

full outer join（）包括两个表的join结果，左边在右边中没找到的结果（NULL），右边在左边没找到的结果，FULL OUTER JOIN 关键字结合了 LEFT JOIN 和 RIGHT JOIN 的结果。

collect()：函数可以提取出所有rdd里的数据项:RDD——>数组（collect用于将一个RDD转换成数组。）

reduce()：根据映射函数f，对RDD中的元素进行二元计算，返回计算结果。

count()：返回RDD内元素的个数

first()：返回RDD内的第一个元素，first相当于top（1）

top：top可返回最大的k个元素。

case：匹配，更多用于 PartialFunction(偏函数)中 {case …}

saveAsTextFile：函数将数据输出，存储到 HDFS 的指定目录

cache ： cache 将 RDD 元素从磁盘缓存到内存，内部默认会调用persist(StorageLevel.MEMORY_ONLY)，也就是说它无法自定义缓存级别的。

persist()：与cache一样都是将一个RDD进行缓存，在之后的使用过程汇总不需要重新的计算了。它比cache灵活，可以通过自定义
StorageLevel类型参数，来定义缓存的级别。

coalesce()：对RDD的分区进行分区，（用于分区数据分布不均匀的情况，利用HashPartitioner函数将数据重新分区）

reparation：与coalesce功能一样，它只是coalesce中shuffle设置为true的简易实现。（数据不经过shuffle是无法将RDD的分区变多的）

distinct()：distinct将RDD中的元素进行去重操作

subtract()：subtract相当于进行集合的差操作，RDD 1去除RDD 1和RDD 2交集中的所有元素。