Spark算子[10]：foldByKey、fold 源码实例详解

foldByKey与aggregateByKey，fold与aggregate用法相近，作用相似！
foldByKey是aggregateByKey的简化，fold是aggregate的简化。

---

foldByKey

源码

  /**
   * 使用关联函数合并每个K的values 并且一个中立的 "zero value" 将被添加到结果中【任意次数】(分区数决定), 
   * 并且不能改变结果：
   * (例如, list集合的Nil, 累加的0值, 乘法的1值等等)
   */

  def foldByKey(
      zeroValue: V,
      partitioner: Partitioner)(func: (V, V) => V): RDD[(K, V)] = self.withScope {

    // 1、序列化 zero value to 为一个字节数组，这样我们就可以在每个Key上得到一个新的克隆体
    val zeroBuffer = SparkEnv.get.serializer.newInstance().serialize(zeroValue)
    val zeroArray = new Array[Byte](zeroBuffer.limit)
    zeroBuffer.get(zeroArray)

    // 2、当反序列化时, 用 lazy val 为每一个task近创建一个序列化器实例
    lazy val cachedSerializer = SparkEnv.get.