spark transform系列__mapPartitions

mapPartitions/mapPartitionsWithIndex

这两个transform中:mapPartitions与map的区别是map中是对每个partition中的iterator执行map操作,对map过程中的每一条record进行传入的function的处理,而mapPartitions是把partition中整个iterator传给function进行处理.如果是map操作,你并不能知道这个iterator什么时候结束,但mapPartitions时给你的是一个iterator,所以你的函数中知道这个iterator什么时候会结束.而mapPartitionsWithIndex的函数是在mapPartitions的基础上,多了一个传入参数,这个传入参数就是对应的partition的index.

mapPartitions的函数定义:

def mapPartitions[U: ClassTag](

这个函数的定义部分为一个参数,是对应partition的数据的iterator,
    f: Iterator[T] => Iterator[U],

这个参数false表示在生成的MapPartitionsRDD中不包含partitioner算子.
    preservesPartitioning: Boolean = false): RDD[U] = withScope {
  val cleanedF = sc.clean(f)

直接生成一个MapPartitionsRDD,在生成这个rdd时,通过传入的function,这个function与map对应的function不同的是,function直接拿到一个iterator进行操作.
  new MapPartitionsRDD(
    this,
    (context: TaskContext, index: Int, iter: Iterator[T]) => cleanedF(iter),
    preservesPartitioning)
}

 

mapPartitionsWithIndex的函数定义:

这个函数的处理方法可以看到与mapPartitions基本上相同,不同的地方是f(function)的定义部分,此部分多出一个int类型的参数,这个参数是对应的iterator所在的partition的index.

def mapPartitionsWithIndex[U: ClassTag](
    f: (Int, Iterator[T]) => Iterator[U],
    preservesPartitioning: Boolean = false): RDD[U] = withScope {
  val cleanedF = sc.clean(f)
  new MapPartitionsRDD(
    this,
    (context: TaskContext, index: Int, iter: Iterator[T]) => cleanedF(index, iter),
    preservesPartitioning)
}