spark累加器

累加器：分布式只写共享变量

• 累加器是用来把Executor端变量信息聚合到Driver端。
• 在Driver程序种定义的变量，在Executor端的每一个task都会得到这个变量的一份新的副本，每个task更新这些副本后，传回Driver端进行merge

首先看一个不用累加器的案例

scala> val dataRDD = sc.makeRDD(1 to 4, 2)
dataRDD: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[5] at makeRDD at <console>:24

scala> dataRDD.glom().collect
res6: Array[Array[Int]] = Array(Array(1, 2), Array(3, 4))

scala> var sum = 0
sum: Int = 0

scala> dataRDD.foreach(i => sum = sum + i)

scala> println(sum)
0

可以看到一共两个分区，也就是两个task，每个task运行在不同的Executor端，在Driver端声明的sum变量，并不能在Executor端（dataRDD.foreach(i=>sum=sum+i)里面的"i=>sum=sum+i"就运行在Executor端）更新，因为sum不是一个累加器。
下面声明一个累加器

scala> val dataRDD = sc.makeRDD(1 to 4, 2)
dataRDD: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[5] at makeRDD at <console>:24

scala> dataRDD.glom().collect
res6: Array[Array[Int]] = Array(Array(1, 2), Array(3, 4))

scala> var sum = sc.longAccumulator("sum")
sum: org.apache.spark.util.LongAccumulator = LongAccumulator(id: 312, name: Some(sum), value: 0)

scala> dataRDD.foreach(sum.add(_))

scala> println(sum.value)
10