spark中的Broadcast variables和Accumulator (广播变量和累加器)

同事都被老板叫去开会了 ....... 已经开了两个小时了 GOD

广播变量 broadcast

这个变量只能在drive 端修改，不能在executor 端修改

不产生shuffle 的 优化，但是需要这个RDD 数据量较小

累加器 accumulator

在executor 端读，在driver 显示

（已经代码保存到有道ing）

package com.ib.e3

import org.apache.spark.{SparkConf, SparkContext}

/**
  * Created by xxxxxxoooooo on 9/1/2016.
  */
object BroadcastAccumulators {

  def main(args: Array[String]) {

    val conf = new SparkConf().setAppName("BroadcastAccumulators").setMaster("local")
    val sc = new SparkContext(conf)

    //1 test for Broadcast
    //这个变量只能在drive 端修改，不能在executor 端修改  ,从下面的bRDD可以看出 其没有transformation 算子 ，也就是不可以修改
    //但是可以读取里面的数据值 .value
    //不产生shuffle 的 优化，但是需要这个RDD 数据量较小
    //Spark提供的Broadcast Variable，是只读的。并且在每个节点上只会有一份副本，而不会为每个task都拷贝一份副本。
    // 因此其最大作用，就是减少变量到各个节点的网络传输 消耗，以及在各个节点上的内存消耗。
    //使用到广播变量时，每个节点只会拷贝一份副本了。每个节点可以使用广播变量的value()方法获取值。广播变量是只读的。
    val data = Array(1,3,4,6,8,9)
    val dataRDD = sc.parallelize(data)
    val num = 6
    val broadcastNum = sc.broadcast(num)
    //对数组中的每一个值都加上num
    dataRDD.map(data => data+ broadcastNum.value ).foreach(x  => println(x))

    //2 test for Accumulators
    //主要用于多个节点对一个变量进行共享性的操作。Accumulator只提供了累加的功能。
    // 但是确给我们 提供了多个task对一个变量并行操作的功能。但是task只能对Accumulator进行累加操作，不能读取它的值。
    // 只有Driver程序可以读取 Accumulator的值。

    val xxx = sc.accumulator(0)
    dataRDD.foreach( x => xxx.add(x))
    println(xxx)

  }

}

图片来自网络

转载于:https://www.cnblogs.com/TendToBigData/p/10501382.html