Spark的RDD行动算子

Spark的RDD行动算子

所谓行动算子，其实就是触发了作业(Job)执行的方法，底层代码调用的是环境对象的runJob方法，底层代码中会创建ActiveJob，并提交执行

一、reduce

函数签名

def reduce(f: (T, T) => T): T 

函数说明

聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4)) 

// 聚合数据 
val reduceResult: Int = rdd.reduce(_+_) 

二、collect

函数签名

def collect(): Array[T] 

函数说明

在驱动程序中，以数组 Array 的形式返回数据集的所有元素

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4)) 

// 收集数据到 Driver 
rdd.collect().foreach(println) 

三、count

函数签名

def count(): Long 

函数说明

返回 RDD 中元素的个数

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4)) 

// 返回 RDD 中元素的个数 
val countResult: Long = rdd.count() 

四、first

函数签名

def first(): T 

函数说明

返回 RDD 中的第一个元素

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4)) 

// 返回 RDD 中元素的个数 
val firstResult: Int = rdd.first() 
println(firstResult) 

五、take

函数签名

def take(num: Int): Array[T] 

函数说明

返回一个由 RDD 的前 n 个元素组成的数组

vval rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4)) 

// 返回 RDD 中元素的个数 
val takeResult: Array[Int] = rdd.take(2) 
println(takeResult.mkString(",")) 

六、takeOrdered

函数签名

def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T] 

函数说明

返回该 RDD 排序后的前 n 个元素组成的数组

val rdd: RDD[Int] = sc.makeRDD(List(1,3,2,4)) 

// 返回 RDD 中元素的个数 
val result: Array[Int] = rdd.takeOrdered(2) 

七、aggregate

函数签名

def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U 

函数说明

分区的数据通过初始值和分区内的数据进行聚合，然后再和初始值进行分区间的数据聚合

val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8) 

// 将该 RDD 所有元素相加得到结果 
//val result: Int = rdd.aggregate(0)(_ + _, _ + _) 
val result: Int = rdd.aggregate(10)(_ + _, _ + _)

八、 fold

函数签名

def fold(zeroValue: T)(op: (T, T) => T): T 

函数说明

折叠操作，aggregate 的简化版操作

val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4)) 

val foldResult: Int = rdd.fold(0)(_+_) 

九、countByKey

函数签名

def countByKey(): Map[K, Long] 

函数说明

统计每种 key 的个数

val rdd: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (1, "a"), (1, "a"), (2,"b"), (3, "c"), (3, "c"))) 

// 统计每种 key 的个数 
val result: collection.Map[Int, Long] = rdd.countByKey() 

十、save 相关算子

函数签名

def saveAsTextFile(path: String): Unit 
def saveAsObjectFile(path: String): Unit 
def saveAsSequenceFile( 
  path: String, 
  codec: Option[Class[_ <: CompressionCodec]] = None): Unit 

函数说明

将数据保存到不同格式的文件中

// 保存成 Text 文件 
rdd.saveAsTextFile("output") 

// 序列化成对象保存到文件 
rdd.saveAsObjectFile("output1") 

// 保存成 Sequencefile 文件 
rdd.map((_,1)).saveAsSequenceFile("output2") 

十一、 foreach

函数签名

def foreach(f: T => Unit): Unit = withScope { 
    val cleanF = sc.clean(f) 
    sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF)) 
} 

函数说明

分布式遍历 RDD 中的每一个元素，调用指定函数

val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4)) 

// 收集后打印 
rdd.map(num=>num).collect().foreach(println) 

println("****************") 

// 分布式打印 
rdd.foreach(println)