1. map():每次处理一条数据。
2. mapPartition():每次处理一个分区的数据,这个分区的数据处理完后,原RDD中分区的数据才能释放,可能导致OOM。
3. 开发指导:当内存空间较大的时候建议使用mapPartition(),以提高处理效率。
map和mappartition的区别
最新推荐文章于 2022-07-25 09:11:01 发布
1. map():每次处理一条数据。
2. mapPartition():每次处理一个分区的数据,这个分区的数据处理完后,原RDD中分区的数据才能释放,可能导致OOM。
3. 开发指导:当内存空间较大的时候建议使用mapPartition(),以提高处理效率。