spark 的RDD各种转换和动作

最新推荐文章于 2023-08-01 17:10:52 发布

weixin_30239339

最新推荐文章于 2023-08-01 17:10:52 发布

阅读量257

点赞数

文章标签：大数据

原文链接：http://www.cnblogs.com/rxingyue/p/5033099.html

版权

今天先把spark的各种基本转换和动作总结下，以后有时间把各种用法放上去。

1 RDD基本转换操作

 
    map、flagMap、distinct
    
    coalesce、repartition
    
    coalesce、repartition
    
    randomSplit、glom
    
    union、intersection、subtract
    
    mapPartitions、mapPartitionsWithIndex
    
    mapPartitions、mapPartitionsWithIndex
    
    zip、zipPartitions
    
    zipWithIndex、zipWithUniqueId
    
    partitionBy、mapValues、flatMapValues
    
    combineByKey、foldByKey 
    
    groupByKey、reduceByKey、reduceByKeyLocally
    
    cogroup、join
    
    leftOuterJoin、rightOuterJoin、subtractByKey

2 RDD行动Action操作

 first、count、reduce、collect

 take、top、takeOrdered

 aggregate、fold、lookup

 countByKey、foreach、foreachPartition、sortBy

 saveAsTextFile、saveAsSequenceFile、saveAsObjectFile

 saveAsHadoopFile、saveAsHadoopDataset

 saveAsNewAPIHadoopFile、saveAsNewAPIHadoopDataset

转载于:https://www.cnblogs.com/rxingyue/p/5033099.html