Action行动算子总结

spark行动算子总结

1、reduce（）聚合

f函数聚集RDD中所有元素，先聚合分区内数据，再聚合分区间数据

函数签名：def reduce(f: (T, T) => T): T

val rdd : RDD[Int] =sc.makeRDD(List(1,2,3,4))
val reduceResult:Int = rdd.reduce(_+_)

2、collect（）以数组的形式返回数据集

以Array的形式返回数据个数

函数签名：def collect(): Array[T]

val rdd : RDD [Int] = sc.makeRDD(List(1,2,3,4))
rdd.colect().foreach(println)

3、count()返回RDD元素个数

返回RDD元素个数

函数签名：def count(): Long

val rdd : RDD[Int] =sc.makeRDD(List(1,2,3,4))
val