还有哪些Spark算子没见过

  1. map()
  2. mapPartitions()
  3. mapPartitionsWithIndex()
  4. flatMap()
  5. glom()显示分区元素
  6. groupBy()分组
  7. filter()过滤
  8. sample()随机抽样
  9. distinct()去重
  10. coalesce()缩减分区数
  11. repartition()根据分区数,重新通过网络随机shuffle所有数据
  12. sortBy()排序
  13. union()并集
  14. subtract()差集
  15. intersection()交集
  16. cartesian()笛卡儿积
  17. zip()将两个RDD组合成Key/Value形式的RDD
  18. partitionBy()分区
  19. reduceByKey(),将相同key的值聚合到一起
    计算相同key对应值的相加结果
    scala> val rdd = sc.parallelize(List((“female”,1),(“male”,5),(“female”,5),(“male”,2)))
    scala> val reduce = rdd.reduceByKey((x,y) => x+y)
  20. groupByKey()将相同key对应值聚合到一个 Seq
  21. aggregateByKey()
  22. foldByKey()aggregateByKey的简化操作
    计算相同key对应值的相加结果
    val rdd = sc.parallelize(List((1,3),(1,2),(1,4),(2,3),(3,6),(3,8)),3)
    val agg = rdd.foldByKey(0)(+)
  23. combineByKey()
    针对相同K,将V合并成一个集合。
  24. sortByKey()
  25. mapValues()
  26. join()
  27. cogroup()
  28. reduce()
  29. collect()
  30. count()
  31. first()
  32. take()
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

Colin_lqk

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值