本文探讨了Spark中MapPartitions操作的优缺点，以及何时适合使用。MapPartitions能提高性能，但可能导致内存溢出。在数据过滤后，由于partition数据量不均，可能引发数据倾斜和task资源浪费。为解决这些问题，文章提出了使用coalesce算子来压缩partition数量，平衡数据量，以避免数据倾斜并提升性能。
spark中，最基本的原则，就是每个task处理一个RDD的partition。
MapPartitions操作的优点：
如果是普通的map，比如一个partition中有1万条数据；ok，那么你的function要执行和计算1万次。
但是，使用MapPartitions操作之后，一个task仅仅会执行一次function，function一次接收所有的partition数据。只要执行一次就可以了，性能比较高。
MapPartitions的缺点：
如果是普通的map操作，一次function的执行就处理一条数据；那么如果内存不够用的情况下，比如处理了1千条数据了，那么这个时候内存不够了，那么就可以将已经处理完的1千条数据从内存里面垃圾回收掉，或者用其他方法，腾出空间来吧。
所以说普通的map操作通常不会导致内存的OOM异常。
但是MapPartitions操作，对于大量数据来说，比如甚至一个partition，100万数据，一次传入一个function以后，那么可能一下子内存不够，但是又没有办法去腾出内存空间来，可能就OOM，内存溢出。
什么时候比较适合用MapPartitions系列操作，
就是说，数据量不是特别大的时候，都可以用这种MapPartitions系列操作，性能还是非常不错的，是有提升的。比如原来是15分钟，（曾经有一次性能调优），12分钟。10
最低0.47元/天 解锁文章
扫一扫
2240
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
