spark 累加器

1. 累加器是什么

累加器用来对信息进行聚合，通常在向 Spark传递函数时，比如使用 map() 函数或者用 filter() 传条件时，可以使用driver端中定义的变量，但是集群中运行的每个任务都会得到这些变量的一份新的副本，
更新这些副本的值也不会影响驱动器(driver)中的对应变量。如果我们想实现所有分片处理时更新共享变量的功能，那么累加器可以实现我们想要的效果。
累加器可以理解为共享只写变量
2. 为什么使用累加器

先看这个例子,计算俩个分区内数据,这里使用了foreach算子
完sum=0;

/**
* 对RDD内数据做累加,原始RDD有俩个分区
*/
object Test {

  def main(args: Array[String]): Unit = {

    val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("test1")
    val sc: SparkContext = new SparkContext(conf)
    val rdd1: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4),2)


    //普通reduce计算
    val res: Int = rdd1.reduce(_ + _)
    //结果10
    println(res)

    //利用foreach算子计算
    var sum:Int=0

    rdd1.foreach(
      i=>sum=sum+i
    )
    //结果0
    println(sum)

    
  }
}

下面是分析原因: 为什么结果是0 不是正確的15呢???