SparkCore算子（实例）之---- action算子

Action Operation

概述：

SparkCore中的算子可以分为两类：Transformations Operation、Action Operation。

在Spark的提交执行过程中，会将RDD及作用于其上的一系列算子（即：RDD及其之间的依赖关系）构建成一个DAG有向无环图。当遇到action类算子的时候就会触发一个job的提交，而Driver程序则会将触发的 job 提交给DAGScheduler，由DAGScheduler将job构件成一张DAG。

因此，action类算子就是 spark application 程序换分为job的依据，也是触发job提交的决定性因素。

spark 程序的详细任务执行流程、DAG的构建、Stage的划分、TaskSet的生成可以参考其他相关文章。

分类：

SparkCore中的action类算子大概可以分为以下几种：

1. 将worker / executor中的RDD数据或其计算数据拉取到Driver程序中来，形成Scala的集合或变量的操作，如下表：

   算子	描述
   collect()	无参，以数组的形式返回RDD中的所有的元素
   take(n)	返回RDD中的前n个元素，无参时，默认为前10个
   takeOrdered(n, [ordering])	和top类似，先排序（升序/降序），再取前n，不过获取的元素的顺序与top相反
   takeSample(withReplacement, num, [seed])	返回一个随机采样数组，该数组由从RDD中采样获得，可以选择是否用随机数来替换不足的部分，seed用于指定随机数生成器的种子
   first()	返回RDD的第一个元素（并不一定是最大的，看RDD是否排序，类似于take(1)）
   top(n)	返回由RDD前n个最大的元素构成的数组（最大：元素具备可比性，默认取字典顺序最大的）
   reduce(func)	通过func函数来聚集RDD中的所有元素，且要求func必须满足：1.可交换；2.可并联。
   reduceByKeyLocally(func:(V, V)=>V)