Spark-三大数据结构之-广播变量

什么是广播变量

分布式只读共享变量

首先广播变量是一个调优策略(可以减少数据的传输,也就是数据从driver传输到executor)

(每一个executor都要传list数据,如果数据太多就很慢,采用广播变量他是一个共享只读变量,可以减少数据传输种量)
下面代码演示的是,不使用能进行shuffle的算子,来减少网络传输,用自定义逻辑实现
def main(args: Array[String]): Unit = {
    val conf = new SparkConf().setAppName("Mysql").setMaster("local[*]")

    //创建上下文对象
    val sc = new SparkContext(conf)
    val rdd1 = sc.makeRDD(List((1,2),(1,2),(2,3)))
    val list = List((1,2),(2,3),(3,3))

    //可以使用广播变量(减少数据的传输)(每一个executor都要传list数据,如果数据太多就很慢,采
    //用广播变量他是一个共享只读变量,可以减少数据传输种量)
    //构建广播变量
    val broadcast = sc.broadcast(list)
    val resultRDD = rdd1.map({
      case (key,value) =>{
        var v2:Any = null
        //使用广播变量
        for(t <- broadcast.value){
          if (key == t._2){
            v2 = t._2
          }
       }
        (key,(value,v2))
    }
    })
    resultRDD.foreach(println)

  }
  • 1
    点赞
  • 0
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值