Spark中广播变量（broadcast）使用

---

前言

在spark中，有一些数据需要传入到每个Excetor中每个task任务中，假如一个Excetor中有10个分区的task，那么每个分区都得需要一份Driver中传入的数据，那么会导致一个Excetor中有大量的重复的数据，spark中存在一种变量broadcast，广播变量，该变量只会往执行任务的执行的Excetor中发送一份变量，这样会大大减少每个EXcetor中的重复的数据

一、使用介绍

object Broadcast {
  def main(args: Array[String]): Unit = {
    val sparkConf= new SparkConf().setMaster("local[*]").setAppName("broadcast")
    val sc = new SparkContext(sparkConf)
    val rdd = sc.makeRDD(List(
      ("a", 1), ("b", 2), ("c", 3),("c", 3)
    ),4)
    //
    val map=mutable.Map("b"->3,"c"->5,"d"->7)
    val value1 = sc.broadcast(map)
    val broadRDD = rdd.map {
      case (key, value) => {
        if (value1.value.contains(key)) {
          (key, value + 1)
        }else{
          (key,1000)
        }
      }
    }
    broadRDD .collect()

    sc.stop()
  }
}

使用sc.Broadcast 把变量放入Spark上下文中，这样每个Excetor都可以使用这个广播变量了

二、broadcast原理

广播变量，初始的时候，就在Drvier上有一份副本。task在运行的时候，想要使用广播变量中的数据，此时首先会在自己本地的Executor对应的BlockManager中，尝试获取变量副本；如果本地没有，那么就从Driver远程拉取变量副本，并保存在本地的BlockManager中；此后这个executor上的task，都会直接使用本地的BlockManager中的副本。executor的BlockManager除了从driver上拉取，也可能从其他节点的BlockManager上拉取变量副本。