Spark共享变量——广播变量和累加器

什么是共享变量

通常情况下，当向Spark操作(如map,reduce)传递一个函数时，它会在一个远程集群节点上执行，它会使用函数中所有变量的副本。这些变量被复制到所有的机器上，远程机器上并没有被更新的变量向驱动程序回传。在任务之间使用通用的，支持读写的共享变量是低效的。所以Spark提供了两种有限类型的共享变量，广播变量和累加器。

广播变量

广播变量原理图：

广播变量的运用：

val conf = new SparkConf()
conf.setMaster("local").setAppName("brocast")
val sc = new SparkContext(conf)
val list = List("hello xasxt")
val broadCast = sc.broadcast(list)
val lineRDD = sc.textFile("./words.txt")
lineRDD.filter { x => broadCast.value.contains(x) }.foreach { println}
sc.stop()

使用广播变量的注意事项：

1. 能不能将一个 RDD 使用广播变量广播出去&#