1.5.1.4 Spark算子详解(总览)

总目录：https://blog.csdn.net/qq_41106844/article/details/105553392

Hadoop - 子目录：https://blog.csdn.net/qq_41106844/article/details/105553369

 

算子的分类

从大方向来说，算子有两种类型，对应着sparkRDD的两种操作--转换类型操作和动作类型操作。也就是：

• Transformation
  转换类型操作，这种变换并不触发提交作业，完成作业中间过程处理。
  Transformation算子是延迟计算的，也就是说从一个RDD 转换生成另一个 RDD 的转换操作不是马上执行，需要等到有 Action 操作的时候才会真正触发运算。

• Action
  动作类型操作，这类算子会触发 SparkContext 提交 Job 作业。
  Action 算子会触发 Spark 提交作业，并将数据输出 Spark系统。

如果在细致划分一下，转换类型算子由两种类型：针对于value数据的Transformation算子和针对K-V数据的Transformation算子。

---

Value数据类型的Transformation算子

输入分区与输出分区一对一型

• map算子
• flatMap算子
• mapPartitions算子
• glom算子

输入分区与输出分区多对一型

• union算子
• cartesian算子

输入分区与输出分区多对多型

• grouBy算子

输出分区为输入分区子集型

• filter算子
• distinct算子
• subtract算子
• sample算子
• takeSample算子

Cache型

• cache算子
• persist算子

---

Key-Value数据类型的Transfromation算子

输入分区与输出分区一对一

• mapValues算子

对单个RDD或两个RDD聚集

单个RDD聚集

• combineByKey算子
• reduceByKey算子
• partitionBy算子

两个RDD聚集

• Cogroup算子

连接

• join算子
• leftOutJoin和 rightOutJoin算子

---

Action算子

无输出

• foreach算子

HDFS

• saveAsTextFile算子
• saveAsObjectFile算子

聚合算子

• collect算子
• collectAsMap算子
• reduceByKeyLocally算子
• lookup算子
• count算子
• top算子
• reduce算子
• fold算子
• aggregate算子