RDD的转换(transsformations)和行动(actions)算子

1.转换(transsformations)算子

1.1 基础转换算子(18个)

  map、flatMap、filter、distinct、mapPartitions、mapPartitionsWithIndex、union、intersection(交集运算)、subtract(差集运算)、coalesce、repartition、randomSplit、glom、zip、zipPartitions、zipWithIndex、zipWithUniqueid、sortBy

1.2 键值对转换算子(11个)

partitionBy、reduceByKey、groupByKey、combineByKey、aggregateByKey、foldByKey、sortByKey、join、cogroup、mapValues、flatMapValues

2.行动(actions)算子——触发执行任务计划

2.1 基础行动算子(11个)

collect、first、take、top、takeOrdered、reduce、aggregate、fold、foreach、foreachPartition、count

2.2 键值对行动算子(2个)

lookup、countByKey

2.3 数值行动算子

sum、max、min、mean(平均值)、variance(方差)、sampleVariance(抽样方差)、stdev(标准差)、sampleStdev(抽样标准差)

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值