mappartitions java_Spark中map、mapPartitions、foreach、foreachPartitions算子

map 与 mapPartitions

/**

* Return a new RDD by applying a function to all elements of this RDD.

*/

def map[U: ClassTag](f: T => U): RDD[U] = withScope {

val cleanF = sc.clean(f)

new MapPartitionsRDD[U, T](this, (context, pid, iter) => iter.map(cleanF))

}

/**

* Return a new RDD by applying a function to each partition of this RDD.

*

*/

def mapPartitions[U: ClassTag]

mapPartitions 是对每个Partition执行一个方法， 而map是对每条数据执行一个方法。

其中map的底层调用了mapPartitions算子， mapPartitions算子的效率更高。

foreach 与 foreachPartitions

/**

* Applies a function f to all elements of this RDD.

*/

def foreach(f: T => Unit): Unit = withScope {

val cleanF = sc.clean(f)

sc.runJob(this, (iter: Iterator[T]) => iter.foreach(cleanF))

}

/**

* Applies a function f to each partition of this RDD.

*/

def foreachPartition(f: Iterator[T] => Unit): Unit = withScope {

val cleanF = sc.clean(f)

sc.runJob(this, (iter: Iterator[T]) => cleanF(iter))

}

foreach 与 foreachPartitions 与上两者相似, 不同的是这两者是action算子。

当执行向数据库插入信息等操作时， 应当使用foreachPartitions算子。