Spark共享变量---Scala

最新推荐文章于 2024-08-18 10:32:21 发布

Star-Technology

最新推荐文章于 2024-08-18 10:32:21 发布

阅读量2.4k

点赞数 2

分类专栏： Big Data 文章标签： spark scala 共享变量 BroadCast Accumulae

本文链接：https://blog.csdn.net/ymf827311945/article/details/76595949

版权

本文探讨了Spark中两种主要的共享变量类型：AccumulatorValue用于并行操作中的累加，BroadcastValue则用于高效地在任务间广播大量数据。Accumulators允许任务将值累积到一个全局变量，而Broadcasts通过缓存数据副本减少数据传输，提高性能。

摘要由CSDN通过智能技术生成

Point 1：AccumulatorValue

package com.spark.sharevariables.scala

import org.apache.spark.{SparkContext, SparkConf}

/**
  * Created by Administrator on 2017/08/02.
  * 累加器中的全局变量只能由driver端读取，task只管干活，不能读如果用.value方法的话
  * 累加器如果你写到了Transformation这种转换算子内部的话呢，要想让这个累加器生效，必须
  * 在这个Transformation操作之前的有action操作！！！！例子如下：
  * val accum = sc.accumulator(0)
  * data.map { x => accum += x; f(x) }
  */
object AccumulatorValue {
   
  def main(args: Array[String]) {
    val conf  = new SparkConf().setAppName("Accumulator