Spark学习:spark相似算子解析

一、Map、Flatmap和MapPartition

算子	作用
map	接收一个高阶函数f,对每个算子进行f操作
flatmap	接收一个高阶函数f,对每个元素进行f操作,形成一个大的集合,然后在迭代器返回每个元素
mapPartitions	map()是每次处理一条数据,mappartitions是每次处理一个分区中的数据,由于是遍历分区,减少了发送到执行器的交互次数,效率优于map(),但执行器内存不足可能会造成OOM(),因此内存空间较大的时候建议用mappartitions

二、repartition和coalesce

算子	作用
repartition	调增rdd的并行度,会引入shuffle
coalesce	只能降低rdd并行度,不会引入shuffle

两个都是重分区算子

• 给定任意一条数据记录,repartition的计算过程都是先哈希再取模,得到的便是该条数据的目标分区索引。对于绝大多数的数据记录,目标分区往往坐落在另一个executors,甚至另一个节点之上,因此shuffle自然就不可避免
• coalesce则不然,在降低并行度的计算中,它采取的思路是把同一个executors内的不同数据分区进行合并,如此一来,数据分区并不需要跨Executors、跨节点进行分发,因而自然不会引入shuffle