累加器 java_Spark笔记之累加器（Accumulator）

一、累加器简介

在Spark中如果想在Task计算的时候统计某些事件的数量，使用filter/reduce也可以，但是使用累加器是一种更方便的方式，累加器一个比较经典的应用场景是用来在Spark Streaming应用中记录某些事件的数量。

使用累加器时需要注意只有Driver能够取到累加器的值，Task端进行的是累加操作。

创建的Accumulator变量的值能够在Spark Web UI上看到，在创建时应该尽量为其命名，下面探讨如何在Spark Web UI上查看累加器的值。

示例代码：package cc11001100.spark.sharedVariables.accumulators;

import org.apache.spark.api.java.function.ForeachFunction;

import org.apache.spark.sql.Encoders;

import org.apache.spark.sql.SparkSession;

import org.apache.spark.util.LongAccumulator;

import java.util.Collections;

import java.util.concurrent.TimeUnit;

/**

* @author CC11001100

*/

public class SparkWebUIShowAccumulatorDemo {

public static void main(String[] args) {

SparkSession spark = SparkSession.builder().master("local[*]").getOrCreate();

LongAccumulator fooCount = spark.sparkContext().longAccumulator("fooCount");

spark.createDataset(Collections.singletonList(1024), Encoders.INT())

.foreach((ForeachFunction) fooCount::add);

try {

TimeUnit.DAYS.sleep(365 * 10000);

} catch (InterruptedException e) {

e.printStackTrace();

}

}

}

启动的时候注意观察控制台上输出的Spark Web UI的地址：

打开此链接，点进去Jobs-->Stage，可以看到fooCount累加器的值已经被累加到了1024：

二、Accumulator的简单使用

Spark内置了三种类型的Accumulator，分别是LongAccumulator用来累加整数型，DoubleAccumulator用来累加浮点型，CollectionAccumulator用来累加集合元素。package cc11001100.spark.sharedVariables.accumulators;

import org.apache.spark.SparkContext;

import org.apache.spark.api.java.function.MapFunction;

import org.apache.spark.sql.Dataset;

import org.apache.spark.sql.Encoders;

import org.apache.spark.sql.SparkSession;

import org.apache.spark.util.CollectionAccumulator;

import org.