Spark—累加器

最新推荐文章于 2022-08-20 19:12:41 发布

Jerry Hong

最新推荐文章于 2022-08-20 19:12:41 发布

阅读量1k

点赞数

分类专栏： Spark 文章标签： spark scala 大数据

本文链接：https://blog.csdn.net/weixin_42570840/article/details/125322007

版权

本文介绍了Spark-core中的累加器，详细阐述了累加器的实现原理，包括如何将Executor端的变量聚合到Driver端，并分别讨论了系统内置的累加器和如何自定义累加器，为大数据处理提供了便利。

摘要由CSDN通过智能技术生成

Spark-core篇—累加器

文章目录

Spark-core篇—累加器

1. 实现原理

累加器用来把 Executor 端变量信息聚合到 Driver 端。在 Driver 程序中定义的变量，在Executor 端的每个 Task 都会得到这个变量的一份新的副本，每个 task 更新这些副本的值后，传回 Driver 端进行 merge。

2. 系统累加器

package Acc

import org.apache.spark.rdd.RDD
import org.apache.spark.{
   SparkConf, SparkContext}

object Spark02_Acc {
   
  def main(args: Array[String]): Unit = {
   
    val conf: SparkConf = new SparkConf().setAppName("Acc").setMaster("local[*]")
    val sc: SparkContext = new SparkContext(conf)

    val rdd: RDD[Int] = sc.makeRDD(List(1, 2, 3, 4))
    // 获取系统累加器，Spark默认就提供了简单数据聚合的累加器
    // 声明累加器
    var sumAcc = sc.longAccumulator("sum"); //用的是可变变量
    // 累加器的类型有整型longAccumulator、浮点类型doubleAccumulator、

    rdd.<