spark——比较map和mapPartitions

Spark中，最基本的原则，就是每个task处理一个RDD的partition。

MapPartitions操作的优点：
如果是普通的map，比如一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。
但是，使用MapPartitions操作之后，一个task仅仅会执行一次function，function一次接收所有 的partition数
据。只要执行一次就可以了，性能比较高。
MapPartitions的缺点：可能会OOM。
如果是普通的map操作，一次function的执行就处理一条数据；那么如果内存不够用的情况下， 比如处理了1千条
数据了，那么这个时候内存不够了，那么就可以将已经处理完的1千条数据从 内存里面垃圾回收掉，或者用其他方
法，腾出空间来。
所以说普通的map操作通常不会导致内存的OOM异常。
在项目中，自己先去估算一下RDD的数据量，以及每个partition的量，还有自己分配给每个executor 的内存资
源。看看一下子内存容纳所有的partition数据，行不行。如果行，可以试一下，能跑通就好。 性能肯定是有提升
的。

//map和partition的区别：
scala> val rdd2 = rdd1