map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd,他通常用来切分单词。Spark中map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象。 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:
例子1:
object MapAndFlatMap {
def main(args: Array[String]): Unit = {
val rdd1= List(List("A","B"),List("C","D"))
rdd1.map( i => println(i))
println(rdd1)
/**
* List("A","B")
* List("C","D")
* List("A","B"),List("C","D")
*/
val rdd2 = rdd1.flatMap(f => f)
println(rdd2)
rdd2.foreach( i => println(i))
/**
* List("A","B","C","D")
* A
* B
* C
* D
*/
}
}
map:List里有小的List
flatmap:是先flat再map,只能压一次,形成一个新的List集合,把原元素放进新的集合里面
例子2:
object MapAndFlatMap {
def main(args: Array[String]): Unit = {
//创建配置对象
val sc = new SparkContext(
new SparkConf().setAppName("map_flatMap_demo").setMaster("local")
)
val rdd1 = sc.parallelize(Array("a_b", "c_d", "e_f"))
rdd1.foreach(println) //打印结果1
/**
* a_b
* c_d
* e_f
*/
rdd1
.map(string => {
string.split("_")
})
.foreach(x => {
println(x.mkString(",")) //打印结果2
/**
* a,b
* c,d
* e,f
*/
})
rdd1
.flatMap(string => {
string.split("_")
})
.foreach(x => {
println(x.mkString(",")) //打印结果3
/**
* a
* b
* c
* d
* e
* f
*/
})
}