Spark14：Spark程序性能优化02：算子优化

一、map vs mapPartitions

map 操作：对 RDD 中的每个元素进行操作，一次处理一条数据。
mapPartitions 操作：对 RDD 中每个 partition 进行操作，一次处理一个分区的数据。

所以：

map 操作： 执行 1 次 map算子只处理 1 个元素，如果 partition 中的元素较多，假设当前已经处理了 1000 个元素，在内存不足的情况下，Spark 可以通过GC等方法回收内存（比如将已处理掉的 1000 个元素从内存中回收）。因此， map 操作通常不会导致OOM异常；

mapPartitions 操作： 执行 1 次map算子需要接收该 partition 中的所有元素，因此一旦元素很多而内存不足，就容易导致OOM的异常，也不是说一定就会产生OOM异常，只是和map算子对比的话，相对来说容易产生OOM异常

不过一般情况下，mapPartitions 的性能更高；初始化操作、数据库链接等操作适合使用 mapPartitions 操作
这是因为：
假设需要将 RDD 中的每个元素写入数据库中，这时候就应该把创建数据库链接的操作放置在 mapPartitions 中，创建数据库链接这个操作本身就是个比较耗时的，如果该操作放在 map 中执行，将会频繁执行，比较耗时且影响数据库的稳定性。

1、scala代码实现如下

package com.imooc.scala

import org.apache.spark.{SparkConf, SparkCon