spark map\foreach和mapPartitions\foreachPartition的区别

spark map和mapPartitions的区别

Spark中foreachPartition和mapPartitions的区别](https://blog.csdn.net/u010454030/article/details/78897150)

mapPartitions : 可以以分区为单位进行数据转换操作。
但是会将整个分区的数据加载到内存进行引用，如果处理完的数据是不会被释放掉，存在对象的引用。在内存较小，数据量较大的场合下，容易出现内存溢出。