scala 获取系统累加器, Spark默认就提供了简单数据聚合的累加器

最新推荐文章于 2022-06-27 21:08:25 发布

减肥中的小南瓜

最新推荐文章于 2022-06-27 21:08:25 发布

阅读量460

点赞数

分类专栏： scala学习笔记文章标签： scala

本文链接：https://blog.csdn.net/weixin_44342318/article/details/124213315

版权

scala学习笔记专栏收录该内容

13 篇文章 0 订阅

订阅专栏

#获取系统累加器, Spark默认就提供了简单数据聚合的累加器

package study.spark.core.acc

import org.apache.spark.{SparkConf, SparkContext}

object Spark02_Acc {

    def main(args: Array[String]): Unit = {

        val sparConf = new SparkConf().setMaster("local").setAppName("Acc")
        val sc = new SparkContext(sparConf)

        val rdd = sc.makeRDD(List(1,2,3,4))

        // 获取系统累加器
        // Spark默认就提供了简单数据聚合的累加器
        val sumAcc = sc.longAccumulator("sum")

        //sc.doubleAccumulator
        //sc.collectionAccumulator

        rdd.foreach(
            num => {
                // 使用累加器
                sumAcc.add(num)
            }
        )

        // 获取累加器的值
        println(sumAcc.value)

        sc.stop()

    }
}