PySpark-aggregate函数说明

聚集各分区内的元素，并利用combOp和zerovalue函数将各分区合并

The functions  op(t1, t2)  is allowed to modify  t1  and return it as its result value to avoid object allocation; however, it should not modify  t2 .

函数 op(t1, t2) 允许修改t1，并且将其返回， 这样可以避免重新分配对象。   它不能修改t2

1、>>>  seqOp  =  ( lambda  x, y: (x[ 0 ]  +  y, x[ 1 ]  +   1 ))

2、>>>  combOp  =  ( lambda  x, y: (x[ 0 ]  +  y[ 0 ], x[ 1 ]  +  y[ 1 ]))

3、>>>  sc . parallelize([ 1 ,  2 ,  3 ,  4 ]，4) . aggregate(( 0 ,  0 ), seqOp, combOp)

(10, 4)

4、>>>  sc . parallelize([ 1,  2,  3,  4，5 ]，3) . aggregate((1,1 ), seqOp, combOp)

(19,9）

依次解释上述函数

1、建立各分区内的聚集函数，又初始值依次与分区内的函数做操作

2、建立各分区间的组合函数，

3、使用aggregate 样例1

4、使用aggregate 样例2

样例1 解释：

分区数 ： 4 

0 ： 1

1 ： 2

2 ： 3

3 ： 4

利用zerovalue （0,0） 和 seqOp 对各分区进行聚集  ： 

0 ： （1，1）

1 ： （2 , 1）

2 ： （3，1）

3：  （4 , 1）

利用 zerovalue和combOp 进行各分区间的聚合 ：

（0,0） + （1,1）+ （2,1）+ （3,1）+ （4,1） = （10,4）

样例2 解释：

分区数 ： 3

0 ： 1，2

1 ： 3，4

2 ： 5

利用zerovalue （0,0） 和 seqOp 对各分区进行聚集  ： 

0 ： （1,1）+(1,1)+(2,1)  = (4,3)

1 ： (1,1)+(3,1)+(4,1) = (8,3)

2 ： (1,1) + (5,1) = (6,2)

利用 zerovalue和combOp 进行各分区间的聚合 ：

(1,1) + (4,3) + (8,3) + (6,2) = (19,9)