Spark Action 算子

为什么这算子是Action算子
因为它们的底层方法中都调用了 sc.runJob() 这个方法，这个方法才是触发执行的根本

1、reduce(func)
作用：通过func函数聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据。
2、collect()
作用：在驱动程序中，以数组的形式返回数据集的所有元素。
3、count()
作用：返回RDD中元素的个数
4、first()
作用：返回RDD中的第一个元素
5、take(n)
作用：返回一个由RDD的前n个元素组成的数组
6、takeOrdered(n)
作用：返回该RDD排序后的前n个元素组成的数组
7、aggregate
参数：(zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)
作用：aggregate函数将每个分区里面的元素通过seqOp和初始值进行聚合，然后用combine函数将每个分区的结果和初始值(zeroValue)进行combine操作。这个函数最终返回的类型不需要和RDD中元素类型一致
8、countByKey()案例
作用：针对(K,V)类型的RDD，返回一个(K,Int)的map，表示每一个key对应的元素个数
9、foreach(func)案例
作用：在数据集的每一个元素上，遍历元素进行操作
在集群上操作时，是在每个executor上执行的，不是driver
10、saveAsTextFile(path)
作用：将数据集的元素以textfile的形式保存到HDFS文件系统或者其他支持的文件系统，对于每个元素，Spark将会调用toString方法，将它装换为文件中的文本
11、saveAsSequenceFile(path)
作用：将数据集中的元素以Hadoop sequencefile的格式保存到指定的目录下，可以使HDFS或者其他Hadoop支持的文件系统。
12、saveAsObjectFile(path)
作用：用于将RDD中的元素序列化成对象，存储到文件中。
该篇章是观看尚硅谷的视频讲解后整理，详情请点击以下链接，如有侵权，请联系作者进行删除
视频链接