spark共享变量：累加器与广播变量

• 累加器

       累加器提供了将工作节点中的值聚合到驱动器程序中的简单语法。累加器一个常见用途是，在调试时对作业执行过程中的事件进行计数。

       执行行动操作后，累加器的值才会更新；

       累加器的值只有在驱动程序才能访问，从工作节点上任务的角度看，累加器只是一个只写变量。在这种模式下，累加器的实现可以更加高效，不需要对每次更新操作进行复杂的通信。

 

• 广播变量

       广播变量可以让程序高效地向所有工作节点发送一个较大的只读值，以供一个或多个spark操作使用。比如，如果你的应用需要向所有节点发送一个较大的只读查询表，或者是机器学习算法中的一个很大的特征向量，广播变量是一种很好的处理方式。

       Spark会自动把闭包中所有引用到的变量发送到工作节点上，但是很低效，原因有二：首先，默认的任务发射机制是专门为小任务进行优化的；其次，在多个并行操作中使用同一个变量，spark会为每个操作分别发送。而广播变量会将变量只发送一次到各个节点，使用的是一种高效的类似BitTorrent的通信机制。