用Broadcast广播的变量是只读变量,可以有效的保持数据的一致性。
Broadcast的Storage Level是MEMORY_AND_DISK方式,所以不会造成内存溢出。
Broadcast广播的变量只会在Executor中保存一份,同一个Executor中所有task共享该变量,可以有效的减少内存的开销。
对Spark中Broadcast的理解
最新推荐文章于 2022-06-20 18:04:53 发布
用Broadcast广播的变量是只读变量,可以有效的保持数据的一致性。
Broadcast的Storage Level是MEMORY_AND_DISK方式,所以不会造成内存溢出。
Broadcast广播的变量只会在Executor中保存一份,同一个Executor中所有task共享该变量,可以有效的减少内存的开销。