【菜鸟系列】spark常用算子总结（scala、java）--map，flatMap，flatMapToPair

map，flatMap，flatMapToPair是最常用的算子，map算子的输入和输出是一对一的，也就是子RDD的分区与父RDD的分区时一对一的关系；flatMap是压平，输入和输出是一对多的关系；需要注意的是：scala版本的map可以将RDD转成PairRDD，但是在java版本中，这个功能是通过mapToPair函数实现的，需要实现PairFunction函数；scala版本没有flatMapToPair函数，是通过先flatMap，在map来实现的；java版本的flatMapToPair，需要实现PairFlatMapFunction函数；java版本的flatMap是实现FlatMapFunction

scala
map样例

val conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local")
  val sc = new SparkContext(conf)
  val data = sc.makeRDD(List("pandas pip","numpy","pip","pip","pip"))
  //map函数是一对一的，scala中map函数可以将rdd转为pairrdd，java是两个函数，map和mapToPair
  val rdd1 = data.map((_,1))

flatMap样例

  val conf = new SparkConf().setAppName("jiangtao_demo").setMaster("local")
  val sc = new SparkContext(conf)
  val data = sc.makeRDD(List(