Spark RDD算子(五) CombineByKey

CombineByKey

聚合数据一般在集中式数据比较方便，如果涉及到分布式的数据集，可以使用combineByKey, 这个是各种聚集操作的鼻祖

def combineByKey[C](createCombiner : Function1[V, C], 
mergeValue : Function2[C, V, C], 
mergeCombiners : Function2[C, C, C]) : RDD[scala.Tuple2[K, C]]

combineByKey涉及三个方法：createCombiner、mergeValue、mergeCombiners

• createCombiner: combineByKey() 会遍历分区中的所有元素，因此每个元素的键要么还没有遇到过，要么就和之前的某个元素的键相同。如果这是一个新的元素， combineByKey() 会使用一个叫作 createCombiner() 的函数来创建那个键对应的累加器的初始值

• mergeValue: 如果这是一个在处理当前分区之前已经遇到的键， 它会使用 mergeValue() 方法将该键的累加器对应的当前值与这个新的值进行合并

• mergeCombiners: 由于每个分区都是独立处理的， 因此对于同一个键可以有多个累加器。如果有两个或者更多的分区都有对应同一个键的累加器， 就需要使用用户提供的 mergeCombiners() 方法将各个分区的结果进行合并。

案例：计算平均成绩

scala版本

object CombineByKeyScala {
   
    //创建一个样例类
    case class ScoreDetail(stuName:String,subject:String,score:Int)
    
    def main(args: Array[String]): Unit = {
   
        val conf=new SparkConf().setMaster("local[2]").setAppName("actionrdddemo")
        val sc = new SparkContext(conf)
        val scores=List(
          ScoreDetail("xiaoming", "Math", 98),
          ScoreDetail("xiaoming", "English", 88),
          ScoreDetail("wangwu", "Math", 75),
          ScoreDetail("wangwu", "English", 78),
          ScoreDetail("lihua", "Math", 90),
          ScoreDetail("lihua", "English", 80),
          ScoreDetail("zhangsan", "Math", 91),
          ScoreDetail(