10.7 Spark广播变量和累加器

广播变量：

广播变量是在Driver端定义的，在Executor端读取，在Executor端是不能修改的，这样线程就安全

线程安全：单线程和多线程计算结果一致

当定义了外部变量，这个外部变量就存在堆当中，当发送多个task的时候暂用了大量的资源，这时候用广播变量，每个Executor里面都有一个共享变量区，当执行task的时候首先去共享变量区去读取，这样就节省了大量资源

 

Driver给Executor发送task，在Executor中执行时候，如果使用到了广播变量，首先跟本Executor上的BlocakManager去取，如果没有，回去Driver端取，第二个task执行的时候直接使用这个广播变量就可以，广播变量在每一个Executor中就又一份

 

动态改变广播变量使用transform或者forEacheRDD

---

val conf = new SparkConf().setAppName("Broadcast").setMaster("local")

val sc = new SparkContext(conf)

val rdd = sc.makeRDD(Array("zhangsan","lisi","wangwu","zhaoliu","lvqi","qianba","fengjiu"))

val bro = List("zhangsan","wangwu")//这样直接new的参数直接在堆中，要是多的话占用大量的堆资源

val bc = sc.broadcast(bro)//broadcast用广播变量，不占用堆资源

val result = rdd.filter { x => !bc.value.contains(x) }

result.foreach { x => println(x)}

---

/**

* 累加器： 集群规模下一个变量 线程安全的

* 在项目里面我们会自定义一个累加器

*/

val count = sc.accumulator(0) //设置初始值

lineRDD.map { x => {

count.add(1)//count+=1 //每次加1

x

} }.count

println(count.value)