spark中,最基本的原则就是每个task处理一个RDD的partition.
MapPartitinos操作的优点:
如果是普通的map,比如一个partition中有一万条数据;ok,那么你的function要执行和计算一万次
但是,使用MapPartions操作后,一个task仅会执行一次function,function一次接收所有的partition数据,只要执行一次就可以了,性能比较高
MapPartitions的缺点,
如果是普通的map操作,一次function的执行就处理一条数据;那么如果内存不够用的情况下,比如处理了1000条数据了,那么这个时候内存不够了,那么就可以将已经处理完的1000条数据,从内存中垃圾回收到,或用其他的方法腾出空间来
所以说普通的map操作通常不会导致内存的OOM异常
但是mapPartions操作,对于大量数据来说,比如甚至一个partition,100万的数据,一次传入一个function以后,那么可能一下子内存不够,但是又没有办法去腾出内存空间来,那么就OOM,内存溢出
什么时候比较适合用MapPartitions系列操作,就是说,数据量不是特别大的时候,都可以用这种MapPartitions系列操作,性能还是非常不错的,是有提升的
在项目中,自己先去估算一下RDD的数据量,以及每个partition的量,还有自己分配给每个executor的内存资源,看看一下子内存容纳所有的paritition数量