Action Operation
概述:
SparkCore中的算子可以分为两类:Transformations Operation、Action Operation。
在Spark的提交执行过程中,会将RDD及作用于其上的一系列算子(即:RDD及其之间的依赖关系)构建成一个DAG有向无环图。当遇到action类算子的时候就会触发一个job的提交,而Driver程序则会将触发的 job 提交给DAGScheduler,由DAGScheduler将job构件成一张DAG。
因此,action类算子就是 spark application 程序换分为job的依据,也是触发job提交的决定性因素。
spark 程序的详细任务执行流程、DAG的构建、Stage的划分、TaskSet的生成可以参考其他相关文章。
分类:
SparkCore中的action类算子大概可以分为以下几种:
-
将worker / executor中的RDD数据或其计算数据拉取到Driver程序中来,形成Scala的集合或变量的操作,如下表:
算子 描述 collect() 无参,以数组的形式返回RDD中的所有的元素 take(n) 返回RDD中的前n个元素,无参时,默认为前10个 takeOrdered(n, [ordering]) 和top类似,先排序(升序/降序),再取前n,不过获取的元素的顺序与top相反 takeSample(withReplacement, num, [seed]) 返回一个随机采样数组,该数组由从RDD中采样获得,可以选择是否用随机数来替换不足的部分,seed用于指定随机数生成器的种子 first() 返回RDD的第一个元素(并不一定是最大的,看RDD是否排序,类似于take(1)) top(n) 返回由RDD前n个最大的元素构成的数组(最大:元素具备可比性,默认取字典顺序最大的) reduce(func) 通过func函数来聚集RDD中的所有元素,且要求func必须满足:1.可交换;2.可并联。 reduceByKeyLocally(func:(V, V)=>V)