14 Spark on RDD 广播变量

最新推荐文章于 2023-07-06 14:37:38 发布

lucklilili

最新推荐文章于 2023-07-06 14:37:38 发布

阅读量163

点赞数

分类专栏： Apache Spark 文章标签： spark 大数据 big data

本文链接：https://blog.csdn.net/lucklilili/article/details/122289175

版权

Apache Spark 专栏收录该内容

31 篇文章 3 订阅

订阅专栏

Spark的广播变量是一种优化策略，用于高效分发大型对象到所有工作节点，以减少网络传输。当需要在多个任务中共享只读数据时，广播变量非常有用。在广播变量的使用过程中，它首先在Driver上创建副本，然后在任务运行时，Executor从Driver或其它节点拉取并缓存副本，供本地任务使用。一个具体的例子是，将一个大的查询表作为广播变量分发，以提高并行操作的效率。

摘要由CSDN通过智能技术生成

Spark的三大核心数据结构：RDD、累加器（只写不读）、广播变量（只读不写）

广播变量用来高效分发较大的对象。向所有工作节点发送一个较大的只读值，以供一个或多个 Spark 操作使用。比如，如果你的应用需要向所有节点发送一个较大的只读查询表，广播变量用起来都很顺手。在多个并行操作中使用同一个变量，但是 Spark 会为每个任务分别发送。

广播变量原理

初始的时候，就在Drvier上有一份副本。task在运行的时候，想要使用广播变量中的数据，此时首先会在自己本地的Executor对应的BlockManager中，尝试获取变量副本；如果本地没有，那么就从Driver远程拉取变量副本，并保存在本地的BlockManager中；此后这个executor上的task，都会直接使用本地的BlockManager中的副本。executor的BlockManager除了从driver上拉取，也可能从其他节点的BlockManager上拉取变量副本。

val rdd1 = sc.makeRDD(List( ("a",1), ("b", 2), ("c", 3), ("d", 4) ),4)
val list = List( ("a",4), ("b", 5), ("c", 6), ("d", 7) )
val broadcast: Broadcast[List[(String, Int)]] = sc.broadcast(list)
val resultRDD: RDD[(String, (Int, Int))] = rdd1.map {
case (key, num) => {
var num2 = 0
for ((k, v) <- broadcast.value) {
if (k == key) {
num2 = v
} }
(key, (num, num2))
} }