spark的共享变量--累加器

累加器(共享变量):accumulator

注意:

1. 首先要创建累加器的对象初始值是0
2. 驱动器(driver program)程序可以调用累加器的value属性
3. 累加器是一个只写变量
4. 累加器最好还是不要在transform操作中使用：原因

 （在transform操作中spark有可能会重复进行计算，例如如果有一个节点崩溃了，spark会自动将任务运行在另外一个节点上，这就造成了累加器有可能会被重复用到，因此好的办法是将累加器放在Action操作中的foreach里面）

例子1:

val conf = new SparkConf().setAppName("累加器").setMaster("local[2]")
val sc = new SparkContext(conf)
val blankLines = sc.accumulator(0) //创建累加器，初始值是0
val file = sc.textFile("C:\\Users\\MK\\Desktop\\tmp\\a.txt")
val result = file.flatMap(line => {
  if (line == "") {
    blankLines += 1 //累加器是一个只写变量
  }
  line.split(" ")
})
println(result.collect().mkString(","),blankLines.value)

原始数据:
1
3

s
a

ew
ui

asd

输出数据:(1,3,,s,a,,ew,ui,,asd,3)

例子2:

val accum = sc.accumulator(0)
 sc.parallelize(Array(1, 2, 3, 4)).foreach(x => accum += x)
accum.value
输出是:10