Spark扁平化flatMap算子的使用

说明

• 与map算子类似，将RDD中的元素按照指定函数，映射为新的元素并返回到新的RDD中。不同的是flatMap的函数返回的是集合，将集合中的元素依次取出放入新的RDD中。
• 分区中的数据不会发生变化。

函数签名

代码实现

val conf: SparkConf = new SparkConf().setAppName(this.getClass.getName).setMaster("local[*]")
val sc = new SparkContext(conf)
val rdd: RDD[List[Int]] = sc.makeRDD(List(List(1, 2), List(3, 4, 5), List(6, 7)))
val newRDD: RDD[Int] = rdd.flatMap(datas => datas)
newRDD.collect().foreach(println)
sc.stop()