Spark操作-map和flatMap

       map的作用很容易理解就是对rdd之中的元素进行逐一进行函数操作映射为另外一个rdd。flatMap的操作是将函数应用于rdd之中的每一个元素,将返回的迭代器的所有内容构成新的rdd。通常用来切分单词。


测试数据:

2 1
3 1
3 2
4 1
4 2
4 3
5 1
6 1
7 1
7 5
7 6

例子程序:

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.log4j.Level
import org.apache.log4j.Logger
import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD
import edu.berkeley.cs.amplab.spark.indexedrdd.IndexedRDD._
import scala.collection.mutable


object Test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf()
      .setAppName("MapOperation")
      .setMaster("local")

    val sc = new SparkContext(conf)
    val mapRdd=sc.textFile("./club.txt").map { x => 
       val tokens=x.split(" ")
       (tokens(0),tokens(1))
    }
    mapRdd.map{x=>x._1}.saveAsTextFile("./MapOperation/key0")  //map,flatmap操作可以把原类型映射到任何类型
    mapRdd.keys.saveAsTextFile("./MapOperation/key") //Map中的keys方法可以得到所有的keys[RDD]
    mapRdd.values.saveAsTextFile("./MapOperation/values")//Map中的keys方法可以得到所有的values[RDD]
    
    val listRdd=sc.parallelize(List(List(1,2,3),List(4,5,6),List(7,8,9)))
    val map=listRdd.map { x => x }
    val flatmap=listRdd.flatMap{x=>x}
    println(map.collect())
    println(flatmap.collect())
    
  }
}
运行结果:


总结:

- Spark中map函数会对每一条输入进行指定的操作,然后为每一条输入返回一个对象;

- 而flatMap函数则是两个操作的集合——正是“先映射后扁平化”:

   操作1:同map函数一样:对每一条输入进行指定的操作,然后为每一条输入返回一个对象

   操作2:最后将所有对象合并为一个对象





阅读更多
文章标签: Scala spark
个人分类: Spark
想对作者说点什么? 我来说一句

没有更多推荐了,返回首页

不良信息举报

Spark操作-map和flatMap

最多只允许输入30个字

加入CSDN,享受更精准的内容推荐,与500万程序员共同成长!
关闭
关闭