spark循环中的变量问题,,foreach里面向map填值,在循环外面值没有了

下面这个map在循环里面有值,到循环外的map里就没有值了。。。

object Test {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf();
    conf.setMaster("local[1]");
    conf.setAppName("WcAppTask");
    val sc = new SparkContext(conf);
    val fileRdd = sc.parallelize(Array(("imsi1","2018-07-29 11:22:23","zd-A"),("imsi2","2018-07-29 11:22:24","zd-A"),("imsi3","2018-07-29 11:22:25","zd-A")))
    val result = mutable.Map.empty[String,String]
    fileRdd.foreach(input=>{
      val str = (input._1+"/t"+input._2+"/t"+input._3).toString;
      result += (input._1.toString -> str)
      println(result.size) //返回1,2,3
    })
    println(result.size) //返回0

  }
}

 

运行的结果

1
2
3
0

我们需要的结果当然是1,2,3,3

寻找原因:

在spark算子中引用的外部变量,其实是变量的副本,在算子中对其值进行修改,只是改变副本的值,外部的变量还是没有变。

通俗易懂的讲就是foreach里的变量带不出来的,除非用map,将结果作为rdd返回

解决方案:1使用广播变量

object foreachtest {
  def main(args: Array[String]): Unit = {

    val conf = new SparkConf()
    conf.setMaster("local[1]")
    conf.setAppName("WcAppTask")
    val sc = new SparkContext(conf)
    sc.setLogLevel("WARN")
    val fileRdd = sc.parallelize(Array(("imsi1","2018-07-29 11:22:23","zd-A"),("imsi2","2018-07-29 11:22:24","zd-A"),("imsi3","2018-07-29 11:22:25","zd-A")))
    val result = mutable.Map.empty[String,String]
  val resultBroadCast: Broadcast[mutable.Map[String, String]] =sc.broadcast(result)
    fileRdd.foreach(input=>{
      val str = (input._1+"/t"+input._2+"/t"+input._3).toString
      resultBroadCast.value += (input._1.toString -> str)
      println(resultBroadCast.value.size) //返回1,2.3
    })
    println(result.size) //返回3

  }

运行的结果

1
2
3
3

解决方案2:使用累加器

    val accum = sc.collectionAccumulator[mutable.Map[String, String]]("My Accumulator")
    fileRdd.foreach(input => {
      val str = input._1 + "/t" + input._2 + "/t" + input._3
      accum.add(mutable.Map(input._1 -> str))
    })

    println(accum.value.size())

运行结果 3

 

方案3:和2类似

   val longaa= sc.longAccumulator("count")

    fileRdd.foreach(input=>{
      val str = (input._1+"/t"+input._2+"/t"+input._3).toString
      longaa.add(1L)
    })
    println(longaa.count) //返回3

运行结果 3

 

注意事项:

累加器的使用陷阱(未完待续)

 

 

  • 2
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 5
    评论

“相关推荐”对你有帮助么?

  • 非常没帮助
  • 没帮助
  • 一般
  • 有帮助
  • 非常有帮助
提交
评论 5
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值