关闭

SPARK里的reduce(),fold(),以及aggregate()

标签: spark
2228人阅读 评论(0) 收藏 举报
分类:

以上三个方法操作都是对RDD进行的聚合操作。

  • reduce()与fold()方法是对同种元素类型数据的RDD进行操作,即必须同构。其返回值返回一个同样类型的新元素。
num=sc.parallelize([1,2,3,4])
sum=num.reduce(lambda x,y: x+y)

fold()与reduce()类似,接收与reduce接收的函数签名相同的函数,另外再加上一个初始值作为第一次调用的结果。(例如,加法初始值应为0,乘法初始值应为1)

num.fold(0,lambda x,y:x+y)
  • aggregate()方法可以对两个不同类型的元素进行聚合,即支持异构。

首先,看看aggregate的官方定义:

Aggregate the elements of each partition, and then the results for all the partitions, using a given combine functions and a neutral “zero value.”

它先聚合每一个分区里的元素,然后将所有结果返回回来,再用一个给定的conbine方法以及给定的初始值zero value进行聚合。

函数原型如下:

def aggregate [U: ClassTag] (zeroValue: U) (seqOp: (U,T)=>U,combOp: (U,U)=>U):U

由以上可以看到,(zeroValue: U)是给定一个初值,后半部分有两个函数,seqOp与combOp。
seqOp相当于是在各个分区里进行的聚合操作,它支持(U,T)=>U,也就是支持不同类型的聚合。
combOp是将seqOp后的结果再进行聚合,此时的结果全部是U类,只能进行同构聚合。

引用官方代码:

>>> seqOp = (lambda x, y: (x[0] + y, x[1] + 1))
>>> combOp = (lambda x, y: (x[0] + y[0], x[1] + y[1]))
>>> sc.parallelize([1, 2, 3, 4]).aggregate((0, 0), seqOp, combOp)
(10, 4)
>>> sc.parallelize([]).aggregate((0, 0), seqOp, combOp)
(0, 0)

seqOp方法是对单独一个分区内的数据进行累加及计数,所以lambda表达式为x[0]+y,x[1]+1
而combOp方法则是对以上每个分区的结果进行聚合汇总。这里要注意参数的写法,x[0]+y[0],因为是对每一组序列的累加,所以不再用单独的y来表示了。

0
0

查看评论
* 以上用户言论只代表其个人观点,不代表CSDN网站的观点或立场
    个人资料
    • 访问:46235次
    • 积分:1290
    • 等级:
    • 排名:千里之外
    • 原创:86篇
    • 转载:3篇
    • 译文:0篇
    • 评论:12条
    最新评论