Spark 中的 aggregateByKey 最清晰阐释

直译过来是 按照 Key 进行聚合

源码如下:

说明:

第一个参数是， 给每一个分区中的每一种key一个初始值
第二个是个函数， Seq Function， 这个函数就是用来先对每个分区内的数据按照 key 分别进行定义进行函数定义的操作
第三个是个函数， Combiner Function， 对经过 Seq Function 处理过的数据按照 key 分别进行进行函数定义的操作

也可以自定义分区器, 分区器有默认值

整个流程就是:

在 kv 对的 RDD 中，按 key 将 value 进行分组合并，合并时，将每个 value 和初始值作为 seq 函数的参数，进行计算，返回的结果作为一个新的 kv 对，然后再将结果按照 key 进行合并，最后将每个分组的 value 传递给 combine 函数进行计算（先将前两个 value 进行计算，将返回结果和下一个 value 传给 combine 函数，以此类推），将 key 与计算结果作为一个新的 kv 对输出 

示例:

 1. 创建一个多分区的 RDD

scala&g