Spark中map与mapPartition使用区别

在日常开发工作中这两个算子都是我们经常使用到的算子

介绍

map()：参数是传入一个函数。当使用时，实际参数经过map(func) 参数func逻辑后返回的数据，组成一个新的RDD。所以，每一行数据都会经过这个函数处理。假设实际数据有M行，则map()方法将会执行M次。
mapPartitions()：使用方法类似于map()，但是独立的在每一个分区上运行，也就是说，这个方法只会运行与分区数相同的个数。我们看一下mapPartition()使用介绍。

mapPartitions[U: ClassTag](mapPartFunc: Iterator[T] => Iterator[U],preservePartitioning: Boolean = false)

方法参数是传入一个函数。函数传入的是一个可以迭代的Iterator。也就是说我们拿到的就是一个分区中的所有数据。之后我们再遍历这些数据，执行相应逻辑即可。例如实际数据M行，那么mapPartitions()方法实际执行的次数等于分区数N。整个应用程序处理的次数肯定还是M行。

区别

那我们为什么说mapPartitions比map的效率高呢。既然实际次数都是M行，只不过mapPartitions是分区执行的，map是单独执行的。那就要先说明一下Spark的计算机制了。在Spark中所有的运算都是要经过网络IO发送到Executor进行计算的，我们执行map算子的时候，需要触发M此网络IO，而mapPartitions只需要触发分区数的IO。分区内的计算，都是在本地完成的，待完成后再统一发送给Executor，节省了IO的时间，提升了整体效率。

使用场景

我们也知道了mapPartitions是把计算后的数据发送给Executor，这也就会造成一个问题，如果计算后的数据过大过Executor的内存，那么就报OOM异常。分区的数据再发给Executor的时候，是不会逐步释放内存的。所以内存足的话，可以使用mapPartitions提升效率。