spark2.2.0源码阅读---spark core包 --- broadcast

1、本文目标以及其它说明：

    本文主要是介绍广播变量包下面的类

2、broadcast包下面的数据结构说明

      

abstract class Broadcast[T: ClassTag](val id: Long) extends Serializable with Logging {

本类主要表达的是广播变量 

    1、本广播变量不可改变，因为要发送到集群要用到这个值得节点上。2、作为一个整体发送到节点上，要么一起发送，要么步发送，不像发送任务的时候要多次切片副本。unpersist方法表示将excutor上面的广播变量清除掉，下次用到的时候从新发送

private[spark] trait BroadcastFactory {

 创建销毁广播变量、抽象工厂模式，用于生成多个共享变量

   

private[spark] class BroadcastManager(val isDriver: Boolean, conf: SparkConf,
    securityManager: SecurityManager)extends Logging {

     调用的是BroadcastFactory，用于实例化具体的广播变量类型，并调用相同的签名方法，创建、unpersist、stop广播变量

private[spark] class TorrentBroadcast[T: ClassTag](obj: T, id: Long)
  extends Broadcast[T](id) with Logging with Serializable {

      广播变量的Torrent实现。

      1、driver会将本类型广播变量切分成很多的chunks，并存储在driver端的blockmanager里面。2、工作节点需要的时候先在自己的excutor上blockmanager上面去找，没找到就会到driver或者其他有的工作节点拉取小的chunks，并存放在自己blockmanager上面，供后续自己以及其他excutors抓取。这种机制可以避免所有工作节点到driver端抓取，避免driver端工作压力过大

private[spark] class TorrentBroadcastFactory extends BroadcastFactory {

       用来生成torrentbroadcast对象的