spark中的共享变量（广播变量和累加器）

 

广播变量用来高效地分发较大的对象，累加器用来对信息进行聚合。

 

广播变量：

广播变量可以让程序高效地向所有工作节点发送一个较大的只读值，以供一个或多个spark操作使用，在机器学习中非常有用。广播变量是类型为spark.broadcast.Broadcast[T]的一个对象，其中存放着类型为T的值。它由运行SparkContext的驱动程序创建后发送给会参与计算的节点，非驱动程序所在节点（即工作节点）访问改变量的方法是调用该变量的value方法，这个值只会被发送到各节点一次，作为只读值处理。

val bc = sc.broadcast(T)

累加器：

累加器也是一种被广播到工作节点的变量，它与广播变量的关键不同是后者只能读取而前者可以累加。累加器提供了一种将工作节点中的值聚合到驱动器程序中的简单语法。全局累加器只允许驱动程序访问，每一个工作节点只能访问和操作其本地的累加器。同样，累加器的值通过value访问。

val acc = sc.accumulator(0) //Int型，初始值为0

 

转载于:https://www.cnblogs.com/macyzhang/p/10120039.html