1. 累加器是什么
累加器用来对信息进行聚合,通常在向 Spark传递函数时,比如使用 map() 函数或者用 filter() 传条件时,可以使用driver端中定义的变量,但是集群中运行的每个任务都会得到这些变量的一份新的副本,
更新这些副本的值也不会影响驱动器(driver)中的对应变量。如果我们想实现所有分片处理时更新共享变量的功能,那么累加器可以实现我们想要的效果。
累加器可以理解为共享只写变量
2. 为什么使用累加器
先看这个例子,计算俩个分区内数据,这里使用了foreach算子
完sum=0;
/**
* 对RDD内数据做累加,原始RDD有俩个分区
*/
object Test {
def main(args: Array[String]): Unit = {
val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("test1")
val sc: SparkContext = new SparkContext(conf)
val rdd1: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4),2)
//普通reduce计算
val res: Int = rdd1.reduce(_ + _)
//结果10
println(res)
//利用foreach算子计算
var sum:Int=0
rdd1.foreach(
i=>sum=sum+i
)
//结果0
println(sum)
}
}
下面是分析原因: 为什么结果是0 不是正確的15呢???