BlockManagerMaster对BlockManager的管理

最新推荐文章于 2022-03-31 09:08:10 发布

大冰的小屋

最新推荐文章于 2022-03-31 09:08:10 发布

阅读量4.1k

点赞数 1

分类专栏： Spark源码文章标签： Spark

本文链接：https://blog.csdn.net/dwb1015/article/details/52510348

版权

BlockManagerMaster在SparkEnv中负责Block的管理和协调，通过BlockManagerMasterEndpoint与Executor交互。Executor上的BlockManager通过askWithRetry方法与Driver通信，进行注册、更新Block信息等操作。BlockManagerMasterEndpoint在Driver端接收并处理消息，Executor注册时发送BlockManagerId、最大内存和BlockManagerSlaveEndpoint。注册成功后，向SparkListener广播BlockManagerAdded事件。

摘要由CSDN通过智能技术生成

BlockManagerMaster是在SparkEnv中创建的，负责对Block的管理和协调，具体操作依赖于BlockManagerMasterEndpoint。Drive和Executor处理BlockManagerMaster的方式不同：

    val blockManagerMaster = new BlockManagerMaster(registerOrLookupEndpoint(
      BlockManagerMaster.DRIVER_ENDPOINT_NAME,
      new BlockManagerMasterEndpoint(rpcEnv, isLocal, conf, listenerBus)),
      conf, isDriver)

    // 如果当前应用程序是Driver，则创建BlockManagerMasterEndpoint，并且注册到RpcEnv中；
    // 如果当前应用程序是Executor，则从RpcEnv中找到BlockManagerMasterEndpoint的引用。
    def registerOrLookupEndpoint(
        name: String, endpointCreator: => RpcEndpoint):
      RpcEndpointRef = {
      if (isDriver) {
        logInfo("Registering " + name)
        rpcEnv.setupEndpoint(name, endpointCreator)
      } else {
        RpcUtils.makeDriverRef(name, conf, rpcEnv)
      }
    }

Driver上的BlockManagerMaster对于存在与Executor上的BlockManager统一管理，比如Executor需要向Driver发送注册BlockManager、更新Executor上的Block的最新信息、询问所需要的Block目前所在的位置以及当Executor运行结束需要将此Executor移除等。而BlockManager只是负责管理所在Executor上的Block。
那么Driver是如何实现管理的呢？在Driver上的BlockManagerMaster会持有BlockManagerMasterEndpoint，所有的Executor会从RpcEnv中获取BlockManagerMasterEndpoint的引用。BlockManagerMasterEndpoint 本身是一个消息体，会负责通过远程消息通信的方式去管理所有节点的BlockManager。

1. BlockManagerMasterEndpoint

BlockManagerMasterEndpoint 只存在于Driver上。Executor上通过获取的它的引用，然后给它发消息实现和Driver交互。其构造方法如下：

/**
 * BlockManagerMasterEndpoint is an [[ThreadSafeRpcEndpoint]] on the master node to track statuses
 * of all slaves' block managers.
 */
private[spark]
class BlockManagerMasterEndpoint(
    override val rpcEnv: RpcEnv,
    val isLocal: Boolean,
    conf: SparkConf,
    listenerBus: LiveListenerBus)
  extends ThreadSafeRpcEndpoint with Logging

包含的内容：

  // 缓存所有的BlockManagerId及其BlockManagerInfo，而BlockManagerInfo存放的是它所在的Executor中所有Block的信息
  // Mapping from block manager id to the block manager's information.
  private val blockManagerInfo = new mutable.HashMap[BlockManagerId, BlockManagerInfo]

  // 缓存execut