Spark 中 map 与 flatMap 的区别

vi test.txt
this is 1st line
we have 2nd line too


val tf = sc.textFile("test.txt")
//操作1
var mapResult=tf.map(line=>line.split("\\s+"))
-- Array[Array[String]] = Array(Array(this,is,1st,line),Array(we,have,2nd,line,too))
//操作2
var mapResult=tf.flatMap(line=>line.split("\\s+"))
-- Array[String] = Array(this,is,1st,line,we,have,2nd,line,too)


总结：
- Spark 中 map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；
- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”：
   操作1：同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象
   操作2：最后将所有对象合并为一个对象