RDD提供了一组非常丰富的操作来操作数据,如:map,flatMap,filter等转换操作,以及SaveAsTextFile,conutByKey等行动操作。这里仅仅综述了转换操作。
- map
map是对RDD中的每一个元素都执行一个指定的函数来产生一个新的RDD,RDD之间的元素是一对一的关系。
val rdd1: RDD[Int] = sc.parallelize(1 to 9, 3)
val rdd2: RDD[Int] = rdd1.map(_ * 2)
printResult("map", rdd2)
// 结果:map >> List(2, 4, 6, 8, 10, 12, 14, 16, 18)
- flapMap
flatMap类似于map,但是每一个输入元素,会被映射为0到多个出输出元素(即func函数的返回值是一个Seq,而不是单一元素)的新的RDD,RDD之间的元素是一对多关系。
val rdd3: RDD[Int] = rdd2.filter(x => x > 10).flatMap(x => x to 21)
printResult("flatMap", rdd3)
// 结果:flatMap >> List(12, 13, 14, 15, 16, 17, 18, 19, 20, 21,
14, 15, 16, 17, 18, 19, 20, 21,
16, 17, 18, 19, 20, 21,
18, 19, 20, 21)
- filter
filter是对RDD元素进行过滤,返回一个新的数据集,有经过func函数后返回值为true的元素组成。
val rdd4 = rdd2.filter(x => x > 11)
printResult("filter", rdd4)
// 结果:filter >> List(12, 14, 16, 18)
- mapPartitions
mapPartitions是map的一个变种。map的输入函数应用于RDD中的每一个元素,而mapPartitions的输入函数应用于每一个分区的数据,也就是把每一个分区中的内容作为整体来处理。
函数定义:
def mapPartitions[U: ClassTag](f: Iterator[T] => Iterator[U],preservesPartitioning: Boolean = false): RDD[U]
val rdd5: RDD[(Int, Int)] = rdd1.repartition(2).mapPartitions((iter: Iterator[Int]) => {
val lst: ListBuffer[(Int, Int)] = new ListBuffer[(Int, Int)]()
var prev: Int = 0
var current: Int = 0
while (iter.hasNext) {
current = iter.next
lst += ((prev, current))
prev = current
}
lst.iterator
})
printResult("mapPartitions", rdd5)
结果:mapPartitions >> L