RDD用法与实例（三）：map，mapPartitions和mapPartitionsWithIndex的区别

最新推荐文章于 2023-05-26 10:59:54 发布

水母君98

最新推荐文章于 2023-05-26 10:59:54 发布

阅读量1.3k

点赞数

分类专栏：大数据基础文章标签： spark python 大数据

本文链接：https://blog.csdn.net/m0_37754282/article/details/108825805

版权

大数据基础专栏收录该内容

17 篇文章 2 订阅

订阅专栏

rdd的mapPartitions是map的一个变种，它们都可进行分区的并行处理。
两者的主要区别是调用的粒度不一样：map的输入变换函数是应用于RDD中每个元素，而mapPartitions的输入函数是应用于每个分区。

假设一个rdd有10个元素，分成3个分区。如果使用map方法，map中的输入函数会被调用10次；而使用mapPartitions方法的话，其输入函数会只会被调用3次，每个分区调用1次。

mapPartitionsWithIndex则是带上分区下标进行操作。

# Example: mapPartition and mapPartitionWithIndex
a = sc.parallelize(range(0,20),4)
print(a.glom().collect())  #有了glom所以自动分数组

def f(it): 
    s = 0
    for i in it:
        s += i
        yield s

print(a.mapPartitions(f).collect())  #似乎没有自动分组，又被拆散了，函数逻辑是前一个的值加上这组数组中的下标。

def f(index, it):
    s = index
    for i in it:
        s += i
        yield s

print(a.mapPartitionsWithIndex(f).collect())#mapPartitionsWithIndex对RDD中的每个分区（带有下标）进行操作，通过自己定义
#的一个函数来处理。也就是把并行组列的序号0123当做Index

[[0, 1, 2, 3, 4], [5, 6, 7, 8, 9], [10, 11, 12, 13, 14], [15, 16, 17, 18, 19]]
[0, 1, 3, 6, 10, 5, 11, 18, 26, 35, 10, 21, 33, 46, 60, 15, 31, 48, 66, 85]
[0, 1, 3, 6, 10, 6, 12, 19, 27, 36, 12, 23, 35, 48, 62, 18, 34, 51, 69, 88]