Spark核心编程(RDD行动算子)-action

RDD行动算子

所谓的行动算子，其实不会再产生新的RDD，而是触发作业的执行。行动算子执行后，会获取到作业的执行结果。
转换算子不会触发作业的执行，只是功能的扩展和包装。
Spark的行动算子执行时，会产生Job对象，然后提交这个Job对象。

reduce

函数签名：

def reduce(f: (T, T) => T): T

函数说明：

聚集RDD中的所有元素，先聚合分区内数据，再聚合分区间数据

案例：

def main(args: Array[String]): Unit = {
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD Action")
    val sc = new SparkContext(sparkConf)

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
    val res: Int = rdd.reduce(_+_)
    println(res) // 10
}

collect

函数签名：

def collect(): Array[T]

函数说明：

在driver中，以数组Array的形式返回数据集的所有元素。
注意：只有当结果数组预期很小时，才应使用此方法，因为所有数据都加载到driver的内存中。可能会出现内存溢出。

案例：

def main(args: Array[String]): Unit = {
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD Action")
    val sc = new SparkContext(sparkConf)

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
    val res: Array[Int] = rdd.collect()
    println(res.mkString(", ")) // 1, 2, 3, 4
}

count

函数签名：

def count(): Long

函数说明：

返回RDD中元素的个数

案例：

def main(args: Array[String]): Unit = {
    val sparkConf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD Action")
    val sc = new SparkContext(sparkConf)

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
    val res: Long = rdd.count() // 4
    println(res)
}

countByValue

函数签名：

def countByValue()(implicit ord: Ordering[T] = null): Map[T,
Long]

函数说明：