spark RDD算子（五）之键值对聚合操作 combineByKey

combineByKey

函数定义

def combineByKey[C](createCombiner: (V) => C, mergeValue: (C, V) => C, mergeCombiners: (C, C) => C): RD

• createCombiner: combineByKey() 会遍历分区中的所有元素，因此每个元素的键要么还没有遇到过，要么就
  和之前的某个元素的键相同。如果这是一个新的元素， combineByKey() 会使用一个叫作 createCombiner() 的函数来创建
  那个键对应的累加器的初始值

• mergeValue: 如果这是一个在处理当前分区之前已经遇到的键， 它会使用 mergeValue() 方法将该键的累加器对应的当前值与这个新的值进行合并

• mergeCombiners: 由于每个分区都是独立处理的， 因此对于同一个键可以有多个累加器。如果有两个或者更
  多的分区都有对应同一个键的累加器， 就需要使用用户提供的 mergeCombiners() 方法将各
  个分区的结果进行合并。

案例

计算学生平均成绩

scala版本

创建一个学生成绩说明的类

case class ScoreDetail(studentName:String, subject:String, score:Int)

下面是一些测试数据，加载测试数据集合 key = Students name and value = ScoreDetail instance

val scores = List(
  ScoreDetail("xiaoming", "Math", 98),
  ScoreDetail("xiaoming", "English", 88),
  ScoreDetail("wangwu", "Math", 75),
  ScoreDetail("wangwu", "English", 78),
  ScoreDetail("lihua", "Math", 90),
  ScoreDetail("lihua", "English", 80),
  ScoreDetail("zhangsan", "Math", 91),
  ScoreDetail("zhangsan", "English", 80))

将集合转换成二元组，也可以理解成转换成一个map，利用 for 和 yield 的组合

val scoresWithKey: List[(String, ScoreDetail)] = for {
   i <- scores} yield (i.studentName,i)

创建RDD，并且指定三个分区

val scoresWithKeyRDD: RDD[(String, ScoreDetail)] = sc.parallelize(scoreWithKey).partitionBy(new HashPartitioner(3)).cache()

输出打印一下各个分区的长度和各个分区的一些数据

//输出每个分区的长度
scoresWithKeyRDD.foreachPartition(partition => println(partition.length))
println("-------------------------------")

//输出分区迭代结果（输出元组形式）
scoresWithKeyRDD.collect.foreach(println