SparkRDD算子--mapPartitions算子

语法

val newRdd = oldRdd.mapPartitions(oldSet => {func})

源码

def mapPartitions[U](f : scala.Function1[scala.Iterator[T], scala.Iterator[U]], preservesPartitioning : scala.Boolean = { /* compiled code */ })(implicit evidence$6 : scala.reflect.ClassTag[U]) : org.apache.spark.rdd.RDD[U] = { /* compiled code */ }

作用

类似于map，但独立地在RDD的每一个分片上运行，因此在类型为T的RDD上运行时，func的函数类型必须是Iterator[T] => Iterator[U]。假设有N个元素，有M个分区，那么map的函数的将被调用N次,而mapPartitions被调用M次,一个函数一次处理所有分区。

例子

package com.day1

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object oper {
    def main(args: Array[String]): Unit = {
        val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")

        // 创建上下文对象
        val sc = new SparkContext(config)

        // mapPartitions算子
        val listRdd:RDD[Int] = sc.makeRDD(1 to 10)

        val mapPartitionsRdd:RDD[Int] = listRdd.mapPartitions(datas => {
            datas.map(date=>date*2)
        })

        mapPartitionsRdd.collect().foreach(println)
    }
}
input:
1 2 3 4 5 6 7 8 9 10
output:
2 4 6 8 10 12 14 16 18 20

示意图

与map相比，降低了任务传递的次数，减少了占用EXE的数量，降低了网络IO，但是如果分区内数据量过大，对每一个EXE都有压力。