Spark 广播变量

广播变量

实现原理

广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值，以供一个或多个 Spark 操作使用。
比如，如果你的应用需要向所有节点发送一个较大的只读查询表，广播变量用起来都很顺手。在多个并行操作中使用同一个变量，但是 Spark 会为每个任务分别发送。

代码编程

import org.apache.spark.broadcast.Broadcast
import org.apache.spark.{SparkConf, SparkContext}

object BroadcastTest {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf().setMaster("local[*]").setAppName("broadcast")
    val context = new SparkContext(conf)

    val rdd1 = context.makeRDD(List( ("a",1), ("b", 2), ("c", 3), ("d", 4) ),4)
    val list = List( ("a",4), ("b", 5), ("c", 6), ("d", 7) )

    val broadcast: Broadcast[List[(String, Int)]] = context.broadcast(list)
    
    rdd1.map{
      case (str, i) => {
        var num = 0
        for ((k, v) <- broadcast.value){
          if (k == str){
            num = v
          }
        }
        (str, (i, num))
      }
    }.foreach(println)

    context.stop()
  }

}