用法
当RDD分区内和分区间算法不同时,使用aggregate aggregateByKey等2个方法;
但是当分区内和分区间算法相同时,便可以简化使用fold foldByKey这2个方法;
使用示例
# -*- coding: utf-8 -*-
"""
(C) rgc
All rights reserved
create time '2021/5/26 19:37'
Usage:
fold 用法
foldByKey 用法
"""
# 构建spark
from pyspark.conf import SparkConf
from pyspark.context import SparkContext
conf = SparkConf()
# 使用本地模式;且 executor设置为1个方便debug
conf.setMaster('local[1]').setAppName('rgc')
sc = SparkContext(conf=conf)
rdd = sc.parallelize([2, 1, 3, 4, 4], 1)
def seq_func(x: tuple, y: int or float) -> tuple:
"""
计算函数
:param x: 指 zeroValue 参数 也就是(2,0)
:param y: 指 具体的元素
:return: 元素的累加,元素的个数
"""
return x[0] + y, x[1] + 1
def comb_func(x: tuple, y: tuple) -> tuple:
"""
计算函数
:param x: 第一个元素 类型 元祖
:param y: 第二个元素 类型 元祖
:return:
"""
return x[0] + y[0], x[1] + y[1]
# fold:rdd分区内和分区间使用相同的函数进行聚合计算;
# 注意: 初始值 会参与分区内和分区间的计算;
# 所以 每个分区内的一次初始值(5) + 分区内的元素(2+1+3+4+4) + 分区间的一次初始值(5) = 24
rdd_res = rdd.map(lambda x: (x, 1)).fold((5, 0), comb_func)
print(rdd_res) # (24,5)
# foldByKey:rdd分区内 所有元素先根据key进行分组,然后分区内和分区间使用 相同的函数 对每个key对应的values 进行聚合计算;
# 注意: 初始值 只参与分区内的计算,不参与分区间计算
rdd_res = rdd.map(lambda x: (x, 1)).foldByKey((1, 0), seq_func)
print(rdd_res.collect()) # [(2, (2, 1)), (1, (2, 1)), (3, (2, 1)), (4, (3, 2))]
注意
- fold方法和aggregate通过查看源码发现 其会调用collect()方法;而collect()方法会将Executor端每个分区所有执行的结果收集到Driver端,然后在Driver端进行分区间操作;也就是Driver端如果内存不够时 会报错;