1、map():每次处理一条数据
2、mapPartition():每次处理一个分区的数据
,这个分区的数据处理完后,原 RDD 中分区的
数据才能释放,可能导致 OOM
。
开发指导:
当内存空间较大的时候建议使用 mapPartition(),以提高处理效率。
1、map():每次处理一条数据
2、mapPartition():每次处理一个分区的数据
,这个分区的数据处理完后,原 RDD 中分区的
数据才能释放,可能导致 OOM
。
开发指导:
当内存空间较大的时候建议使用 mapPartition(),以提高处理效率。