Spark常用算子详解汇总 : 实战案例、Java版本、Scala版本

官网API地址:

JavaRDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaRDD 
JavaPairRDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.api.java.JavaPairRDD

RDD:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.RDD 
PairRDDFunctions:http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.rdd.PairRDDFunctions

Spark算子[01]:foreach,foreachPartition 

Spark算子[02]:coalesce,repartition 

Spark算子[03]:mapPartitions,mapPartitionsWithIndex 源码实战案例分析 

Spark算子[04]:map,flatMap,mapToPair,flatMapToPair 

Spark算子[05]:parallelize,makeRDD,textFile 

Spark算子[06]:union,distinct,cartesian,intersection,subtract 

Spark算子[07]:reduce,reduceByKey,count,countByKey 

Spark算子[08]:combineByKey详解 

Spark算子[09]:aggregateByKey、aggregate详解

Spark算子[10]:foldByKey、fold 源码实例详解 

Spark算子[11]:reduce、aggregate、fold 详解 

Spark算子[12]:groupByKey、cogroup、join、lookup 源码实例详解 

Spark算子[13]:sortByKey、sortBy、二次排序 源码实例详解 

Spark算子[14]:top、takeOrdered 源码实例详解 

Spark算子[15]:sample、takeSample 源码实例详解 

Spark算子[16]:subtractByKey、join、rightOuterJoin、leftOuterJoin 实例详解 

Spark算子[17]:zip、zipPartitions、zipWithIndex、zipWithUniqueId 实例详解 

Spark算子[18]:saveAsTextFile、saveAsObjectFile 源码实例详解 

Spark算子[19]:saveAsHadoopFile、saveAsNewAPIHadoopFile 源码实例详解 

Spark算子[20]:saveAsHadoopDataset、saveAsNewAPIHadoopDataset 实例详解


原文:https://blog.csdn.net/leen0304/article/details/78836073 

  • 0
    点赞
  • 3
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值