本文介绍了pyspark中RDD的partitionBy函数，重点讲解了如何使用自定义分区函数。该函数允许用户根据需求设置分区数量(numPartitions)和分区逻辑(partitionFunc)，默认使用哈希函数。示例中展示了使用lambda表达式根据int值进行分区，并提供了partitionBy的源码片段，帮助理解其工作原理。
partitionBy(self, numPartitions, partitionFunc=portable_hash): 函数里主要有两个参数，一个是numPartitions ，这个是分区的数量，大家都知道。
另一个是partitionFunc，这个分区的函数，默认是哈希函数。当然我们也可以来自定义：
data = sc.parallelize(['1', '2', '3', ]).map(lambda x: (x,x)).collect()
wp = data.partitionBy(data.count(),lambda k: int(k))
print wp.map(lambda t: t[0]).glom()
最低0.47元/天 解锁文章
扫一扫
1658
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
