Ma(func) 返回一个新的分布式数据集,该数据集由每一个输入元素经过func函数转换后组成。
由上可以看出,每一个分片中每一个元素都要经过f函数,将原来元素转成新元素u。
V1,V2,V3组成一个集合,经过flatMap之后就会将原来的几个集合合并成一个集合,产生新的RDD。
它会以整个分区为输入函数,也就是说这个函数是作用于整个分区的。应用在连接数据库,
使用mapPartitions连接我们要操作的具体的数据块,而连上之后我们通过具体的句柄,来操作这个数据块。
glom是将每一个分区形成一个数组,形成新的RDD类型时RDD[Array[T]]
Spark RDD中Transformation的map、flatMap、mapPartitions、glom详解
最新推荐文章于 2023-10-15 11:01:00 发布