一、Rdd行动算子
1、【takeOrdered】可以将rdd中存储的数据进行升序排序(从小到大),根据参数获取相应的值;
2、【first】顺序获取rdd的第一个元素,等价于take(1);
3、【saveAsTestFile】将rdd处理的结果存储成文件,参数是一个路径,本地路径或者hdfs系统;
4、【foreach】遍历rdd中的数据;
二、实例
package com.cn.rddOperator
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object Action02 {
def main(args: Array[String]): Unit = {
val conf = new SparkConf().setAppName("transformation02").setMaster("local[1]")
val sc = new SparkContext(conf)
sc.setLogLevel("WARN")
/**
* top 可以将rdd中存储的数据进行降序排序,通过传入参数数值取出对应值
* takeOrdered 可以将rdd中存储的数据进行升序排序(从小到大),根据参数获取相应的值
*/
val rdd1: RDD[Int] = sc.parallelize(List(2,3,5,1,9,6))
val rdd2: Array[Int] = rdd1.takeOrdered(4)
println(rdd2.toBuffer)//ArrayBuffer(1, 2, 3, 5)
/**
* first 顺序获取rdd的第一个元素,等价于take(1)
*/
println(rdd1.first())//2
/**
* saveAsTestFile 将rdd处理的结果存储成文件
* 参数是一个路径,本地路径或者hdfs系统
*/
//rdd1.saveAsTextFile("rdddir")
/**
* foreach 遍历rdd中的数据
*/
rdd1.foreach(x=>print(x))//235196
}
}