语法
val newRdd = oldRdd.mapPartitions(oldSet => {func})
源码
def mapPartitions[U](f : scala.Function1[scala.Iterator[T], scala.Iterator[U]], preservesPartitioning : scala.Boolean = { /* compiled code */ })(implicit evidence$6 : scala.reflect.ClassTag[U]) : org.apache.spark.rdd.RDD[U] = { /* compiled code */ }
作用
类似于map,但独立地在RDD的每一个分片上运行,因此在类型为T的RDD上运行时,func的函数类型必须是Iterator[T] => Iterator[U]。假设有N个元素,有M个分区,那么map的函数的将被调用N次,而mapPartitions被调用M次,一个函数一次处理所有分区。
例子
package com.day1
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object oper {
def main(args: Array[String]): Unit = {
val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")
// 创建上下文对象
val sc = new SparkContext(config)
// mapPartitions算子
val listRdd:RDD[Int] = sc.makeRDD(1 to 10)
val mapPartitionsRdd:RDD[Int] = listRdd.mapPartitions(datas => {
datas.map(date=>date*2)
})
mapPartitionsRdd.collect().foreach(println)
}
}
input:
1 2 3 4 5 6 7 8 9 10
output:
2 4 6 8 10 12 14 16 18 20
示意图
与map相比,降低了任务传递的次数,减少了占用EXE的数量,降低了网络IO,但是如果分区内数据量过大,对每一个EXE都有压力。