1、本文目标以及其它说明:
本文主要是介绍广播变量包下面的类2、broadcast包下面的数据结构说明
abstract class Broadcast[T: ClassTag](val id: Long) extends Serializable with Logging {
本类主要表达的是广播变量
1、本广播变量不可改变,因为要发送到集群要用到这个值得节点上。2、作为一个整体发送到节点上,要么一起发送,要么步发送,不像发送任务的时候要多次切片副本。unpersist方法表示将excutor上面的广播变量清除掉,下次用到的时候从新发送
private[spark] trait BroadcastFactory {
创建销毁广播变量、抽象工厂模式,用于生成多个共享变量
private[spark] class BroadcastManager(val isDriver: Boolean, conf: SparkConf, securityManager: SecurityManager)extends Logging {
调用的是BroadcastFactory,用于实例化具体的广播变量类型,并调用相同的签名方法,创建、unpersist、stop广播变量
private[spark] class TorrentBroadcast[T: ClassTag](obj: T, id: Long) extends Broadcast[T](id) with Logging with Serializable {
广播变量的Torrent实现。
1、driver会将本类型广播变量切分成很多的chunks,并存储在driver端的blockmanager里面。2、工作节点需要的时候先在自己的excutor上blockmanager上面去找,没找到就会到driver或者其他有的工作节点拉取小的chunks,并存放在自己blockmanager上面,供后续自己以及其他excutors抓取。这种机制可以避免所有工作节点到driver端抓取,避免driver端工作压力过大
private[spark] class TorrentBroadcastFactory extends BroadcastFactory {
用来生成torrentbroadcast对象的