Spark 广播变量

广播变量

广播变量：分布式共享只读变量。
广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值，以供一个或多个Spark Task操作使用。比如，如果你的应用需要向所有节点发送一个较大的只读查询表，广播变量用起来会很顺手。在多个Task并行操作中使用同一个变量，但是Spark会为每个Task任务分别发送。
1）使用广播变量步骤：
（1）调用SparkContext.broadcast（广播变量）创建出一个广播对象，任何可序列化的类型都可以这么实现。
（2）通过广播变量.value，访问该对象的值。
（3）变量只会被发到各个节点一次，作为只读值处理（修改这个值不会影响到别的节点）。
2）原理说明

3）创建包名
4）代码实现

object broadcast01 {

    def main(args: Array[String]): Unit = {

        //1.创建SparkConf并设置App名称
        val conf: SparkConf = 
        new SparkConf().setAppName("SparkCoreTest").setMaster("local[*]")

        //2.创建SparkContext，该对象是提交Spark App的入口
        val sc: SparkContext = new SparkContext(conf)

        //3.创建一个字符串RDD，过滤出包含WARN的数据
        val rdd: RDD[String] = 
        sc.makeRDD(List("WARN:Class Not Find", 
        "INFO:Class Not Find", "DEBUG:Class Not Find"), 4)
        val str: String = "WARN"

        // 声明广播变量
        val bdStr: Broadcast[String] = sc.broadcast(str)

        val filter: RDD[String] = rdd.filter {
            // log=>log.contains(str)
            log => log.contains(bdStr.value)
        }

        filter.foreach(println)

        //4.关闭连接
        sc.stop()
    }
}