Spark——aggregateByKey 案例

参数：

(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) => U,combOp: (U, U) => U)

1、作用
在 kv 对的 RDD 中，，按 key 将 value 进行分组合并，合并时，将每个 value 和初始值作为 seq 函数的参数，进行计算，返回的结果作为一个新的 kv 对，然后再将结果按照key 进行合并，最后将每个分组的 value 传递给 combine 函数进行计算（先将前两个 value进行计算，将返回结果和下一个 value 传给 combine 函数，以此类推），将 key 与计算结果作为一个新的 kv 对输出。

2、参数描述

（1）zeroValue：给每一个分区中的每一个 key 一个初始值；
（2）seqOp：函数用于在每一个分区中用初始值逐步迭代value；
（3）combOp：函数用于合并每个分区中的结果。

3、需求
创建一个 pairRDD，取出每个分区相同 key 对应值的最大值，然后相加。

4、需求分析

（1）创建一个 pairRDD：

（2）取出每个分区相同 key 对应值的最大值，然后相加：

（3）打印结果