scala的union算子

union算子在spark中可以直接传入Array[RDD[Int]]作为参数,返回拼接后的rdd。

val a1 = Array(1,2,3)
val a2 = Array(4,5,6)
val conf: SparkConf = new SparkConf().setMaster("local[2]").setAppName("test")
val sc = new SparkContext(conf)
sc.setLogLevel("WARN")

val rdd1: RDD[Int] = sc.makeRDD(a1)
val rdd2: RDD[Int] = sc.makeRDD(a2)
val rddArr: Array[RDD[Int]] = Array(rdd1,rdd2)
//以下是两种union方式,都比较常用
val unionRDD1 = rdd1.union(rdd2) 
val unionRDD: RDD[Int] = sc.union(rddArr)
unionRDD.foreach(x=>println(x))
已标记关键词 清除标记
©️2020 CSDN 皮肤主题: 数字20 设计师:CSDN官方博客 返回首页