Spark操作-map和flatMap

原创 2017年03月05日 17:44:37

       map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。


测试数据:

2 1
3 1
3 2
4 1
4 2
4 3
5 1
6 1
7 1
7 5
7 6

例子程序:

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.log4j.Level
import org.apache.log4j.Logger
import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD
import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD._
import scala.collection.mutable


object Test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("MapOperation")
      .setMaster("local")

    val sc = new SparkContext(conf)
    val mapRdd=sc.textFile("./club.txt").map { x => 
       val tokens=x.split(" ")
       (tokens(0),tokens(1))
    }
    mapRdd.map{x=>x._1}.saveAsTextFile("./MapOperation/key0")  //map,flatmap操作可以把原类型映射到任何类型
    mapRdd.keys.saveAsTextFile("./MapOperation/key") //Map中的keys方法可以得到所有的keys[RDD]
    mapRdd.values.saveAsTextFile("./MapOperation/values")//Map中的keys方法可以得到所有的values[RDD]
    
    val listRdd=sc.parallelize(List(List(1,2,3),List(4,5,6),List(7,8,9)))
    val map=listRdd.map { x => x }
    val flatmap=listRdd.flatMap{x=>x}
    println(map.collect())
    println(flatmap.collect())
    
  }
}
运行结果:


总结:

- Spark中map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;

- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:

   操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象

   操作2:最后将所有对象合并为一个对象





scala中map与flatMap浅析

在函数式语言中,函数作为一等公民,可以在任何地方定义,在函数内或函数外,可以作为函数的参数和返回值,可以对函数进行组合。由于命令式编程语言也可以通过类似函数指针的方式来实现高阶函数,函数式的最主要的好...
  • bitcarmanlee
  • bitcarmanlee
  • 2016年10月31日 16:39
  • 11135

spark中flatMap函数用法--spark学习(基础)

说明在spark中map函数和flatMap函数是两个比较常用的函数。其中 map:对集合中每个元素进行操作。 flatMap:对集合中每个元素进行操作然后再扁平化。 理解扁平化可以举个简单例子...
  • u010824591
  • u010824591
  • 2016年02月25日 08:54
  • 18351

Spark操作-map和flatMap

map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词...
  • u013514928
  • u013514928
  • 2017年03月05日 17:44
  • 268

Spark之中map与flatMap的区别

Spark之中map与flatMap的区别一直不太明白spark之中map与flatMap之间的区别。map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMa...
  • sicofield
  • sicofield
  • 2016年03月17日 15:15
  • 21153

spark中的map与flatMap的一些见解

在spark中map函数和flatMap函数是两个比较常用的函数。其中  map:对集合中每个元素进行操作。  flatMap:对集合中每个元素进行操作然后再扁平化。  理解扁平化可以举个简单例子 v...
  • do_what_you_can_do
  • do_what_you_can_do
  • 2016年11月14日 07:51
  • 924

spark RDD操作map与flatmap的区别

以前总是分不清楚spark中flatmap和map的区别,现在弄明白了,总结分享给大家,先看看flatmap和map的定义。 map()是将函数用于RDD中的每个元素,将返回值构成新的RDD。 f...
  • shenshendeai
  • shenshendeai
  • 2017年02月25日 15:07
  • 2084

spark中flatmap和map的区别

以前总是分不清楚spark中flatmap和map的区别,现在弄明白了,总结分享给大家,先看看flatmap和map的定义。map()是将函数用于RDD中的每个元素,将返回值构成新的RDD。flatm...
  • fz2543122681
  • fz2543122681
  • 2016年08月28日 23:16
  • 1955

Spark 中 map 与 flatMap 的区别

通过一个实验来看Spark 中 map 与 flatMap 的区别。
  • samhacker
  • samhacker
  • 2014年12月14日 20:00
  • 35709

Spark API 详解/大白话解释 之 map、mapPartitions、mapValues、mapWith、flatMap、flatMapWith、flatMapValues

重点看mapPartitions map(function)  map是对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD。任何原RDD中的元素在新RDD中都有且只有一个元素与之对应。 ...
  • sdujava2011
  • sdujava2011
  • 2016年04月20日 11:08
  • 1677

Spark之中map与flatMap的区别

map()是将函数用于RDD中的每个元素,将返回值构成新的RDD。 flatmap()是将函数应用于RDD中的每个元素,将返回的迭代器的所有内容构成新的RDD,这样就得到了一个由各列表中的元素组成的...
  • u013063153
  • u013063153
  • 2016年11月23日 13:31
  • 6188
内容举报
返回顶部
收藏助手
不良信息举报
您举报文章:Spark操作-map和flatMap
举报原因:
原因补充:

(最多只允许输入30个字)