spark广播变量的原理_Spark—广播变量

广播变量

Spark有两种共享变量——累加器、广播变量。广播变量可以让程序高效地向所有工作节点发送一个较大的只读值，以供一个或多个Spark操作使用。

需求来源

Spark中分布式执行的代码需要传递到各个Executor的Task上运行。对于一些只读、固定的数据(比如从DB中读出的数据),每次都需要Driver广播到各个Task上，这样效率低下。广播变量允许将变量只广播(提前广播)给各个Executor。该Executor上的各个Task再从所在节点的BlockManager获取变量，而不是从Driver获取变量，从而提升了效率。

一个Executor只需要在第一个Task启动时，获得一份Broadcast数据，之后的Task都从本节点的BlockManager中获取相关数据。

使用方法

1.调用SparkContext.broadcast方法创建一个Broadcast[T]对象。任何序列化的类型都可以这么实现。

2.通过value属性访问改对象的值(Java之中为value()方法)

3.变量只会被发送到各个节点一次，应作为只读值处理(修改这个值不会影响到别的节点)

pic-1.png

上面这个程序可以运行，但是如果表更加大(比如表中不是呼号，而是IP地址)，signPrefixes很容易就会达到MB级别的大小，从主节点为每个任务发送一个这样的数据就会代价巨大。而且如果之后还要再次使用signPrefixes这个对象，则还需要向每个节点再发送一遍。

所以可以将signPrefixes作为广播变量来解决这个问题：

pic-2.png