SparkRDD算子--aggregateByKey算子

语法

val newRdd = oldRdd.aggregateByKey(zeroValue:U,[partitioner: Partitioner]) (seqOp: (U, V) => U,combOp: (U, U) => U)

zeroValue：给每一个分区中的每一个key一个初始值；
seqOp：函数用于在每一个分区中用初始值逐步迭代value；
combOp：函数用于合并每个分区中的结果。

源码

def aggregateByKey[U](zeroValue : U)(seqOp : scala.Function2[U, V, U], combOp : scala.Function2[U, U, U])(implicit evidence$3 : scala.reflect.ClassTag[U]) : org.apache.spark.rdd.RDD[scala.Tuple2[K, U]] = { /* compiled code */ }

作用

reduceByKey的繁琐版，本质也是进行分组聚合。

在kv对的RDD中，按key将value进行分组合并，合并时，将每个value和初始值作为seq函数的参数，进行计算，返回的结果作为一个新的kv对，然后再将结果按照key进行合并，最后将每个分组的value传递给combine函数进行计算（先将前两个value进行计算，将返回结果和下一个value传给combine函数，以此类推），将key与计算结果作为一个新的kv对输出。

例子

package com.day1

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

object oper {
    def main(args: Array[String]): Unit = {
        val config:SparkConf = new SparkConf().setMaster("local[*]").setAppName("wordCount")

        // 创建上下文对象
        val sc = new SparkContext(config)

        // aggregateByKey算子
        val arrayRdd = sc.makeRDD(Array(("张三",1),("李四",2),("王五",3),("刘六",4),("张三",5),("李四",6),("张三",7),("刘六",8)),2)

        val aggregateRdd = arrayRdd.aggregateByKey(0)(math.max(_,_),_+_)
        aggregateRdd.collect().foreach(println)
    }
}


输入
("张三",1) ("李四",2) ("王五",3) ("刘六",4) 
("张三",5) ("李四",6) ("张三",7) ("刘六",8)
输出
(张三,8)
(刘六,12)
(李四,8)
(王五,3)

示意图