spark函数aggregate 简单实例理解

首先，Spark文档中aggregate函数定义如下

def aggregate[U](zeroValue: U)(seqOp: (U, T) ⇒ U, combOp: (U, U) ⇒ U)(implicit arg0: ClassTag[U]): U

这是一个柯里化函数，第一个参数列表中传一个初始化值，

柯里化的目的是让后一个参数列表中的类型可以由前一个参数列表中参数类型进行推演得到，这是一个参数列表无法完成的事情

seqOp操作会聚合各分区中的元素，其中第一次操作的U就是初始值zeroValue，然后combOp操作把所有分区的聚合结果再次聚合，同理，第一次操作的U就是初始值zeroValue

也就是说如果rdd的partition的数量为n，那么U就会被引用n+1次

scala> val rdd = sc.parallelize(List(1,2,3,4,5),3)
rdd.aggregate(1)(_+_,_+_)
res16: Int = 19


scala> rdd.aggregate(10)(math.max(_,_),_+_)
res19: Int = 40

为什么求解最大值的时候结果会是40呢。由于每次进行聚合的初始值都是10，所以最大值结果一直都是10。 一共是3个分区，所以一共要进行四次聚合，因此结果是40

暂时对aggregate的理解就到这里