pyspark-RDD
Spark本地: Scala实例
下面是我以前总结的一些常用的Spark算子以及Scala函数:
map():将原来 RDD 的每个数据项通过 map 中的用户自定义函数 f 映射转变为一个新的元素。
mapPartitions(function) :map()的输入函数是应用于RDD中每个元素,而mapPartitions()的输入函数是应用于每个分区。
mapValues(function) :该操作只会改动value
flatMap(function) :并将生成的 RDD 的每个集合中的元素合并为一个集合
flatMapValues(function):通过上面的例子可知,该操作也是只操作value,不改变key。
reduceByKey(func,numPartitions:用于对每个key对应的多个value进行merge操作
groupByKey(numPartitions):将元素通过函数生成相应的 Key,数据就转化为 Key-Value 格式,之后将 Key 相同的元素分为一组。
sortByKey(accending,numPartitions)
cogroup(otherDataSet,numPartitions)
join(otherDataSet,numPartitions):找出左右相同同的记录
LeftOutJoin(otherDataSet,numPartitions):以左边表为准,逐条去右边表找相同字段,如果有多条会依次列出
RightOutJoin(otherDataSet, numPartitions)
lookup():查询指定的key,u返回其对应的value。
filter(): filter 函数功能是对元素进行过滤,对每个 元 素 应 用 f 函 数, 返 回 值 为 true 的 元 素 在RDD 中保留,返回值为 false 的元素将被过滤掉。
full outer join()包括两个表的join结果,左边在右边中没找到的结果(NULL),右边在左边没找到的结果,FULL OUTER JOIN 关键字结合了 LEFT JOIN 和 RIGHT JOIN 的结果。
collect():函数可以提取出所有rdd里的数据项:RDD——>数组(collect用于将一个RDD转换成数组。)
reduce():根据映射函数f,对RDD中的元素进行二元计算,返回计算结果。
count():返回RDD内元素的个数
first():返回RDD内的第一个元素,first相当于top(1)
top:top可返回最大的k个元素。
case:匹配,更多用于 PartialFunction(偏函数)中 {case …}
saveAsTextFile:函数将数据输出,存储到 HDFS 的指定目录
cache : cache 将 RDD 元素从磁盘缓存到内存,内部默认会调用persist(StorageLevel.MEMORY_ONLY),也就是说它无法自定义缓存级别的。
persist():与cache一样都是将一个RDD进行缓存,在之后的使用过程汇总不需要重新的计算了。它比cache灵活,可以通过自定义
StorageLevel类型参数,来定义缓存的级别。
coalesce():对RDD的分区进行分区,(用于分区数据分布不均匀的情况,利用HashPartitioner函数将数据重新分区)
reparation:与coalesce功能一样,它只是coalesce中shuffle设置为true的简易实现。(数据不经过shuffle是无法将RDD的分区变多的)
distinct():distinct将RDD中的元素进行去重操作
subtract():subtract相当于进行集合的差操作,RDD 1去除RDD 1和RDD 2交集中的所有元素。