[Spark基础]--理解Spark闭包

Spark中的闭包可能导致在RDD操作中修改变量的混淆。在分布式环境中,闭包被序列化并发送到Executor,导致对变量的修改在Driver程序中不可见。为了避免不确定性,应使用 Accumulator 安全地更新全局变量。在打印RDD元素时,避免使用`foreach(println)`,因为在集群模式下输出会被重定向到Executor,而应使用`collect().foreach(println)`或`take(n).foreach(println)`来控制内存占用。
摘要由CSDN通过智能技术生成

理解Spark的闭包

       对 Spark 来说, 最困难的事情之一就是在跨集群执行代码时了解变量和方法的范围和生命周期。RDD 在其范围之外修改变量的操作可能会经常引起混淆。在下面的示例中, 我们将查看使用 foreach () 递增计数器的代码, 但其他操作也可能发生类似的问题。

举例

    考虑下面简单的RDD元素和,它的行为可能会有所不同,这取决于是否在同一个 JVM 中执行。这方面的一个常见示例是在本地模式下运行 spark (--master=local[n])与将 spark 应用程序部署到集群(例如,通过 spark-submit 提交到yarn):

var counter = 0
var rdd = sc.parallelize(data)

// 这是错误的做法
rdd.foreach(x => counter += x)

println("Counter value: " + counter)

 

看看scala的举例

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

往事随风ing

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付:¥1
获取中
扫码支付

您的余额不足,请更换扫码支付或充值

打赏作者

实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值