spark-core rdd行动算子

spark-core rdd行动算子

1、reduce()

val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
val sc = new SparkContext(sparkConf)
val rdd = sc.makeRDD(List(1,2,3,4))
/**
 * ➢ 函数签名
    def reduce(f: (T, T) => T): T
    ➢ 函数说明
    聚集 RDD 中的所有元素，先聚合分区内数据，再聚合分区间数据
 */
val i: Int = rdd.reduce(_+_)
println(i)
sc.stop()

2、collect()

val sparkConf = new SparkConf().setMaster("local[*]").setAppName("Operator")
val sc = new SparkContext(sparkConf)
val rdd = sc.makeRDD