Spark开发问题解决（二）：累加器的错误使用——错误的值或空值

在spark开发中，我们有时需要在多个executor端对某些数据进行累加，这时候我们首先就会想到使用自定义累加器来实现。下面记录一下在使用自定义累加器中需要注意的点。

1、累加器值未累加

我们都知道，spark中的rdd是惰性计算的，在没有遇到action算子之前是并没有真正开始计算的，也就是说累加器没有真正的进行累加。所以遇到这种情况的朋友，先检查一下是
否没有进行action计算。

2、累加器值进行多次累加

通常情况下，我们在使用spark时会对一个RDD进行多次计算。比如说我们根据源数据创建了一个RDD1，然后对RDD1进行一次计算形成RDD2，然后再对RDD1进行又一次计算行程RDD3。实际上spark并不会自己保留第一次计算的结果，这就导致了当你第二次对RDD1进行计算时，RDD1实际上被计算了两次，如果你在RDD1中设置了累加器进行累加，这个结果肯定是错误的数值。那么该如何处理这种情况呢？方法也很简单，通过使用cache缓存或者设置checkpoint检查点切断这个RDD依赖链即可。这样spark在遇到对同一RDD进行计算时会首先从缓存中获取计算结果，避免了多次计算。