大数据开发-Spark-共享变量之累加器和广播变量

Spark 累加器与广播变量

一、简介

在 Spark 中，提供了两种类型的共享变量：累加器 (accumulator) 与广播变量 (broadcast variable)：

• 累加器：用来对信息进行聚合，主要用于累计计数等场景；

• 广播变量：主要用于在节点间高效分发大对象。

二、累加器

这里先看一个具体的场景，对于正常的累计求和，如果在集群模式中使用下面的代码进行计算，会发现执行结果并非预期：

var counter = 0
val data = Array(1, 2, 3, 4, 5)
sc.parallelize(data).foreach(x => counter += x)
 println(counter)

counter 最后的结果是 0，导致这个问题的主要原因是闭包。

2.1 理解闭包

1. Scala 中闭包的概念

这里先介绍一下 Scala 中关于闭包的概念：

var more = 10
val addMore = (x: Int) => x + more