《零基础入门Spark》学习笔记 Day 03

talen_hx296

已于 2023-01-19 16:26:17 修改

阅读量231

点赞数

分类专栏：大数据文章标签： spark

于 2023-01-18 16:22:44 首次发布

本文链接：https://blog.csdn.net/talen_hx/article/details/128727749

版权

大数据专栏收录该内容

5 篇文章 0 订阅

订阅专栏

广播变量用于在Spark中高效地分享大型变量到所有task，减少网络传输和内存开销。累加器则是实现全局计数的工具，适用于需要累计操作的场景，如计空字符串的数量。除了基本的longAccumulator，还有doubleAccumulator和collectionAccumulator供不同需求选择。

摘要由CSDN通过智能技术生成

广播变量、累加器

一、广播变量

广播变量是向所有工作节点发送一个较大的只读值

使用代码示例：

val conf = new SparkConf().setAppName("WordCount").setMaster("local")
val sc = new SparkContext(conf)
val list:List[String] = List("Golang","Java")
val bc = sc.broadcast(list)

示例中使用了broadcast函数创建广播变量，然后通过调用它的value函数，就可以访问所封装的数据内容，广播变量节省的网络与内在开销会变得非常可观，省去这些开销，对作业的执行有很大有处。当你遇到需要多个task共享同一个大型变量的时候，比如列表，数组映射等数据结构，可以考虑使用广播变量来优化spark作业

注意：
1、不能将rdd作为广播变量广播出去，rdd是不存储数据的。可以将rdd的结果广播出去。
2、广播变量只能在Driver端定义，不能在Executor端定义。

二、累加器

它主要作用是全局计数，使用场景自然是需要做全局计数的时候

使用代码示例：

val conf = new SparkConf().setAppName("WordCount").setMaster("local")
val sc = new SparkContext(conf)
//定义Long类型的累加器
val ac = sc.longAccumulator("Empty string")

ac.add(1)

作业完成后，调用value函数，获取累加器的全局结果

除了以上的longAccumulator，还有doubleAccumulator和collectionAccumulator

注意：
累加器在Driver端定义赋初始值，只能在Driver端读取最后的值，在executor端更新。