通常,Spark程序计算的时候,我们传递的函数是在远程集群节点上执行的,在函数中使用的所有变量副本会传递到远程节点,计算任务使用变量副本进行计算。这些变量被复制到每台机器上,对远程机器上的变量的更新不会返回driver程序。
spark共享变量
最新推荐文章于 2024-07-10 12:58:03 发布
通常,Spark程序计算的时候,我们传递的函数是在远程集群节点上执行的,在函数中使用的所有变量副本会传递到远程节点,计算任务使用变量副本进行计算。这些变量被复制到每台机器上,对远程机器上的变量的更新不会返回driver程序。