Spark共享变量——广播变量和累加器

最新推荐文章于 2025-04-19 10:00:00 发布

我是一名程序猿

最新推荐文章于 2025-04-19 10:00:00 发布

阅读量1.7k

点赞数 2

分类专栏： Spark

本文链接：https://blog.csdn.net/baidu_35901646/article/details/81627812

版权

本文介绍了Spark中的两种共享变量——广播变量和累加器。广播变量用于提供只读变量的副本，减少数据传输，适用于在Executor端不需要修改的场景。累加器则用于执行过程中的数值累加，适用于计数或求和操作，其值在Driver端读取，Executor端更新。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

什么是共享变量

通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。所以Spark提供了两种有限类型的共享变量，广播变量和累加器。

广播变量

广播变量原理图：

广播变量的运用：

val conf = new SparkConf()
conf.setMaster("local").setAppName("brocast")
val sc = new SparkContext(conf)
val list = List("hello xasxt")
val broadCast = sc.broadcast(list)
val lineRDD = sc.textFile("./words.txt")
lineRDD.filter { x => broadCast.value.contains(x) }.foreach { println}
sc.stop()

使用广播变量的注意事项：

1. 能不能将一个 RDD 使用广播变量广播出去？
不能，因为RDD是不存储数据的。可以将RDD的结果广播出去。

2. 广播变量只能在 Driver 端定义，不能在 Exe