导言
之前和大家说完了Spark-RDD的转换算子还有RDD的行动算子,没有整理,接下来就是对Spark-RDD的行动算子来进行来说明,Spark-RDD行动算子是触发Spark-RDD执行的一个算子,就比如在执行Spark程序中,写了一系列的转换算子来对结果的转换,从而计算出我们想要的结果,但是每次在每个程序结果,都发现rdd.collect(),这个语句,这个就是Spark-RDD中的行动算子
那么我们下面对Spark-RDD中的行动算子进行一个总结
collect() 收集运行的结果 | reduce() 聚合数据 | count() 统计RDD的个数 |
---|---|---|
Frist () 返回RDD中第一个元素 | take() 返回RDD前n个元素变成一个数组 | takeOrdered返回RDD后n个元素变成一个数组 |
aggregate 也是分区间和分区内计算 | fold aggregate 的简化版操作 | countByKey 统计每种 key 的个数 |
save 相关算子 将数据保存到不同格式的文件中 | foreach 分布式遍历 RDD 中的每一个元素,调用指定函数 |
- collect() 收集运行的结果
➢ 函数签名 def collect(): Array[T]
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
// 收集数据到 Driver
rdd.collect().foreach(println
- reduce() 聚合数据
➢ 函数签名 def reduce(f: (T, T) => T): T
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
// 聚合数据
val reduceResult: Int = rdd.reduce(_+_)
- count() 统计RDD的个数
➢ 函数签名: def count(): Long
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
// 返回 RDD 中元素的个数
val countResult: Long = rdd.count()
- Frist () 返回RDD中第一个元素
➢ 函数签名 def first(): T
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
// 返回 RDD 中元素的个数
val firstResult: Int = rdd.first()
println(firstResult)
- take() 返回RDD前n个元素变成一个数组
➢ 函数签名 def take(num: Int): Array[T]
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
// 返回 RDD 中元素的个数
val takeResult: Array[Int] = rdd.take(2)
println(takeResult.mkString(","))
- takeOrdered返回RDD后n个元素变成一个数组
➢ 函数签名 def takeOrdered(num: Int)(implicit ord: Ordering[T]): Array[T]
val rdd: RDD[Int] = sc.makeRDD(List(1,3,2,4))
// 返回 RDD 中元素的个数
val result: Array[Int] = rdd.takeOrdered(2)
- aggregate 也是分区间和分区内计算
➢ 函数签名 def aggregate[U: ClassTag](zeroValue: U)(seqOp: (U, T) => U, combOp: (U, U) => U): U
val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4), 8)
// 将该 RDD 所有元素相加得到结果
//val result: Int = rdd.aggregate(0)(_ + _, _ + _)
val result: Int = rdd.aggregate(10)(_ + _, _ + _)
- fold aggregate 的简化版操作
➢ 函数签名 def fold(zeroValue: T)(op: (T, T) => T): T
val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
val foldResult: Int = rdd.fold(0)(_+_)
- countByKey 统计每种 key 的个数
➢ 函数签名 def countByKey(): Map[K, Long]
val rdd: RDD[(Int, String)] = sc.makeRDD(List((1, "a"), (1, "a"), (1, "a"), (2,
"b"), (3, "c"), (3, "c")))
// 统计每种 key 的个数
val result: collection.Map[Int, Long] = rdd.countByKey()
- save 相关算子 将数据保存到不同格式的文件中
➢ 函数签名
def saveAsTextFile(path: String): Unit
def saveAsObjectFile(path: String): Unit
def saveAsSequenceFile(
codec: Option[Class[_ <: CompressionCodec]] = None): Unit
// 保存成 Text 文件
rdd.saveAsTextFile("output")
// 序列化成对象保存到文件
rdd.saveAsObjectFile("output1")
// 保存成 Sequencefile 文件
rdd.map((_,1)).saveAsSequenceFile("output2")
- foreach 分布式遍历 RDD 中的每一个元素,调用指定函数
➢ 函数签名
def foreach(f: T => Unit): Unit = withScope {
val cleanF = sc.clean(f)
sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))
}
val rdd: RDD[Int] = sc.makeRDD(List(1,2,3,4))
// 收集后打印
rdd.map(num=>num).collect().foreach(println)
println("****************")
// 分布式打印
rdd.foreach(println)