RDD转换算子、行动算子

RDD转换算子
对于转换操作，RDD的所有转换都不会直接计算结果
仅记录作用于RDD上的操作
当遇到动作算子（Action）时才会进行真正计算

RDD常用的转换算子
map算子
对RDD中的每个元素都执行一个指定的函数来产生一个新的RDD
任何原RDD中的元素在新RDD中都有且只有一个元素与之对应
输入分区与输出分区一一对应
//将原RDD中每个元素都乘以2来产生一个新的RDD

val a = sc.parallelize(1 to 9)
val b = a.map(x => x * 2)
a.collect().foreach(println)
b.collect().foreach(println)

filter算子
对元素进行过滤，对每个元素应用指定函数，返回值为true的元素保留在新的RDD中

val a =sc.parallelize(1 to 10)
val b = a.filter(_ % 2 == 0).collect
val c = a.filter(_ <  4).collect
a.foreach(println)
b.foreach(println)

mapValues算子
原RDD中的Key保持不变，与新的Value一起组成新的RDD中的元素，仅适用于PairRDD

val a = sc.parallelize(List("Tiger","Cat","Eagle","Lion","Panther"))
val b = a.map(x => (x.length,x))
a.collect().foreach(println)
val c = b.mapValues(x => "_" + x + "_")
c.collect().foreach(println)

distinct算子
用于去除重复数据

 	val rdd1 = sc.parallelize(List(1, 2, 3, 4, 5, 6, 7, 8, 9,