Spark广播变量的java 使用踩坑记 赋值,更新与重启
本文为纯原创,转载请注明出处,谢谢
spark广播变量适用于多节点并行操作同一变量的情况,如果spark每次都将该变量分发到不同executor节点那么浪费资源又占用带宽,所以可以将变量在driver端创建一份然后通过广播变量广播到各个executor,相当于多个executor共享一个变量,这样即方便又节约资源。类似下图(图片来源于网络,侵删)
不使用广播变量
使用广播变量
使用广播...
原创
2019-11-20 16:34:00 ·
1635 阅读 ·
1 评论