累加器:分布式只写共享变量
- 累加器是用来把Executor端变量信息聚合到Driver端。
- 在Driver程序种定义的变量,在Executor端的每一个task都会得到这个变量的一份新的副本,每个task更新这些副本后,传回Driver端进行merge
首先看一个不用累加器的案例
scala> val dataRDD = sc.makeRDD(1 to 4, 2)
dataRDD: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[5] at makeRDD at <console>:24
scala> dataRDD.glom().collect
res6: Array[Array[Int]] = Array(Array(1, 2), Array(3, 4))
scala> var sum = 0
sum: Int = 0
scala> dataRDD.foreach(i => sum = sum + i)
scala> println(sum)
0
可以看到一共两个分区,也就是两个task,每个task运行在不同的Executor端,在Driver端声明的sum变量,并不能在Executor端(dataRDD.foreach(i=>sum=sum+i)里面的"i=>sum=sum+i"就运行在Executor端)更新,因为sum不是一个累加器。
下面声明一个累加器
scala> val dataRDD = sc.makeRDD(1 to 4, 2)
dataRDD: org.apache.spark.rdd.RDD[Int] = ParallelCollectionRDD[5] at makeRDD at <console>:24
scala> dataRDD.glom().collect
res6: Array[Array[Int]] = Array(Array(1, 2), Array(3, 4))
scala> var sum = sc.longAccumulator("sum")
sum: org.apache.spark.util.LongAccumulator = LongAccumulator(id: 312, name: Some(sum), value: 0)
scala> dataRDD.foreach(sum.add(_))
scala> println(sum.value)
10