Spark之广播变量详解------附加案例实现

最新推荐文章于 2024-05-24 00:30:00 发布

longG_It

最新推荐文章于 2024-05-24 00:30:00 发布

阅读量1.2k

点赞数

分类专栏： spark

本文链接：https://blog.csdn.net/qq_41166135/article/details/82864632

版权

本文详细介绍了Spark中的广播变量概念，强调了其在大数据处理中的重要性，通过一个实例展示了如何使用广播变量来提高效率，即查询日志中每个省的资源数。广播过程中，Driver收集数据并分发给所有executors，从而避免了数据重复传输。

摘要由CSDN通过智能技术生成

1.广播变量的意义
当大数据进行业务处理的时候，所需要的数据存储在HDFS上，但是HDFS上的数据都是一块一块的，如果数据不完整的话就不能进行业务的正常处理，所以需要将数据全部集中起来，去通过广播，让所有进行处理的executors获得全部的数据。
2.下面一张高清大图说明广播的过程，Driver将数据collect到一起，然后将完整的数据分发到executors上,进行相应的处理
在这里插入图片描述
3.广播变量的例子
需求：查询日志中每个省所拥有的资源数

import org.apache.log4j.{Level, Logger}
import org.apache.spark.broadcast.Broadcast
import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}

/**
  *  广播变量的例子
  * Created by zhangjingcun on 2018/9/27 9:29.
  */
object IPLocation {
  val rulesFilePath = "D:\\data\\ip.txt"
  val accessFilePath = "D:\\data\\access.log"

  def main(args: Array[String]): Unit = {
    Logger.getLogger("org.apache.spark").setLevel(Level.OFF)

    val conf = new SparkConf().setAppName("IPLocation").setMast