RDD常用转换算子和动作算子

一 、转换算子

1. map

• 对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD
• 任何原RDD中的元素在新的RDD中都有且只有一个元素与之对应
• 输入分区和输出分区一一对应

//创建一个spark context对象
val conf:SparkConf = new SparkConf().setMaster("local[6]").setAppName("sparkTest")
val sc:SparkContext = SparkContext.getOrCreate(conf)

val rdd1:RDD[Int] = sc.parallelize( 1 to 10)
val rdd2:RDD[Int] = rdd1.map(_*2)  //对每一个前面传过来的rdd中的元素进行乘2操作

rdd2.collect().mkString("-").foreach(print)  // 2-4-6-8-10-12-14-16-18-20

//使用map将普通RDD转换成pairRDD
val rdd3:RDD[Int] = rdd1.map(x=>(x,1))
rdd3.collect().mkString("*").foreach(println)  // (1,1)*(2,1)*(3,1)*(4,1)*(5,1)*(6,1)*(7,1)*(8,1)*(9,1)*(10,1)

2. filter

对元素进行过滤，对每个元素应用指定函数，返回值为true的元素保留在新的RDD中

val rdd:RDD[Int] = sc.parallelize(1 to 10)
val rdd1:RDD[Int] = rdd.filter(_%2==0)
println(rdd1.collect.mkString(","))  // 2,4,6,8,10

3. mapValues

原RDD中的key保持不变，与新的Value一起组成新的RDD中的元素，仅适用于PairRDD

val rdd:RDD[String] = sc.parallelize(List("dog","cat","panda"))
//使用map将普通的RDD转换成pairRDD
val pairRDD:RDD[(Int,String)] = rdd.map(x=>(x.length,x))
println(pairRDD.collect().mkString(",")) // (3,dog),(3,cat),(5,panda)

//mapValues对pairRDD的value进行处理，key保持不变
val rdd2:RDD[(Int,String)] = pairRDD.mapValues(_+"hhhh")
println(rdd2.collect().mkString(","))  // (3,doghhhhh),(3,cathhhhh),(5,pandahhhhh)

4. distinct、union、intersection

distinct：将RDD中的元素进行去重，返回一个新的RDD
union：将两个RDD里的元素进行合并，不去重
intersection：求两个RDD元素的交集

val a:RDD[Int] = sc.parallelize(1 to 10)
val b:RDD[Int] = sc.parallelize(4 to 15)
val c:RDD[String] =sc.parallelize(List("aa","bb","cc","dd"))
// union
val unionRDD:RDD[Int] = a.union(b) 
unionRDD.collect.mkString(