一眼看懂map和flatmap的区别

十有八九

于 2019-07-11 21:30:23 发布

阅读量6.5w

点赞数 19

分类专栏： Scala 文章标签： flatmap

本文链接：https://blog.csdn.net/weixin_44694973/article/details/95523712

版权

Scala 专栏收录该内容

21 篇文章

订阅专栏

博客介绍了Spark中map和flatMap的作用及区别。map是对RDD元素逐一进行函数操作映射为新RDD；flatMap是将函数应用于RDD元素，把返回迭代器内容构成新RDD，常用来切分单词。还指出flatMap是先映射后扁平化，会将所有对象合并为一个。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。

flatMap的操作是将函数应用于rdd之中的每一个元素，将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。

Spark 中 map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象。而flatMap函数则是两个操作的集合——正是“先映射后扁平化”：

操作1：同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象

操作2：最后将所有对象合并为一个对象

object fla_map {
 def main(args: Array[String]): Unit = {
    val rdd1= List(List("A","B"),List("C","D"))

    rdd1.map( i => println(i))
    println(rdd1)
    println("----------------------")
    val strings = rdd1.flatMap(f => f)
    println(strings)
    strings.foreach( i => println(i))
  }
}