Spark存储体系——概述

简单来讲,Spark存储体系是各个Driver与Executor实例中的BlockManager所组成的;但是从一个整体来看,把各个节点的BlockManager看成存储体系的一部分,那存储体系就有了更多衍生的内容,比如块传输服务、map任务输出跟踪器、Shuffle管理器等。

1 存储体系架构

先用下图从整体上表示存储体系架构

根据上图可以看到,BlockManager依托于很多组件的服务,这些组件包括以下几项:

  • 1)BlockManagerMaster:代理BlockManager与Driver上的BlockManagerMasterEndpoint通信。记号①表示Executor节点上的BlockManager通过BockManagerMaster与BlockManagerMasterEndpoint进行通信,记号②表示Driver节点上的BlockManager通过BlockManagerMaster与BlockManagerMasterEndpoint进行通信。这些通信的内容有很多,例如,注册BlockManager、更新Block信息、获取Block的位置(即Block所在的BlockManager)、删除Executor等。BlockManagerMaster之所以能够和BlockManagerMasterEndpoint通信,是因为它持有了BlockManagerMasterEndpoint的RpcEndpointRef。
  • 2)BlockManagerMasterEndpoint:由Driver上的SparkEnv负责创建和注册到Driver的RpcEnv中。BlockManagerMasterEndpoint只存在于Driver的SparkEnv中,Driver或Executor上BlockManagerMaster的driverEndpoint属性将持有BlockManagerMasterEndpoint的RpcEndpointRef。BlockManagerMasterEndpoint主要对各个节点上的BlockManager、BlockManager与Executor的映射关系及Block位置信息(即Block所在的BlockManager)等进行管理。
  • 3)BlockManagerSlaveEndpoint:每个Executor或Driver的SparkEnv中都有属于自己的BlockManagerSlaveEndpoint,分别由各自的SparkEnv负责创建和注册到各自的RpcEnv中。Driver或Executor都存在各自的BlockManagerSlaveEndpoint,并由各自BlockManager的slaveEndpoint属性持有各自BlockManagerSlaveEndpoint下发的命令。记号③表示BlockManagerMasterEndpoint向Driver节点上的BlockManagerSlaveEndpoint下发命令,记号④表示BlockManagerMasterEndpoint向Executor节点上的BlockManagerSlaveEndpoint下发命令。例如,删除Block、获取Block状态、获取匹配的BlockId等。
  • 4)SerializerManager:序列化管理器
  • 5)MemoryManager:内存管理器。负责对单个节点上内存的分配与回收
  • 6)MapOutPutTracker:map任务输出跟踪器。
  • 7)ShuffleManager:Shuffle管理器
  • 8)BlockTransferService:块传输服务。此组件也与Shuffle相关联,主要用于不同阶段的任务之间的Block数据的传输与读写。
  • 9)shuffleClinet:Shuffle的客户端。与BlockTransferService配合使用。记号⑤表示Executor上的shuffleClient通过Driver上的BlockTransferService提供的服务上传和下载Block,记号⑥表示Driver上的shuffleClient通过Executor上的BlockTransferService提供的服务上传和下载Block。此外,不同Executor节点上的BlockTransferService和shuffleClient之间也可以互相上传、下载Block。
  • 10)SecurityManager:安全管理器
  • 11)DiskBlockManager:磁盘块管理器。对磁盘上的文件及目录的读写操作进行管理
  • 12)BlockInfoManager:块信息管理器。负责对Block的元数据及锁资源进行管理
  • 13)MemoryStore:内存存储。依赖于MemoryManager,负责对Block的内存存在
  • 14)DiskStore:磁盘存储。依赖于DiskBlockManager,负责对Block的磁盘存储 

2 基本概念

2.1 BlockManager的唯一标识BlockManagerId

Driver或者Executor中有任务执行的环境SparkEnv,每个SparkEnv中都有BlockManager,这些BlockManager位于不同的节点和实例上。BlockManager之间需要通过RpcEnv、shuffleClient及BlockTransferService相互通信,每个BlockManager都有其在Spark集群内的唯一标识BlockManagerId。

Spark通过BlockManagerId中的host、port、executorId等信息来区分BlockManager。其属性有:

  • host_:主机域名或IP
  • port_:此端口实际使用了BlockManager中的BlockTransferService对外服务的端口
  • executorId_:当前BlockManager所在的实例ID。如果实例是Driver,那么ID为driver,否则由Master负责给各个Executor分配,ID格式为app-日期格式字符串

BlockManagerId中的方法:

  • executorId:返回executorId_的值
  • hostPort:返回host:port格式的字符串
  • host:返回host_的值
  • port:返回port_的值
  • topologyInfo:返回topologyInfo_的值
  • isDriver:当前BlockManager所在的实例是否是Driver
  • writeExternal:将BlockManagerId的所有信息序列化后写到外部二进制流中
  • readExternal:从外部二进制流中读取BlockManagerId的所有信息。

2.2 块的唯一标识BlockId

在Spark的存储体系中,数据的读写是以块为单位,每个Block都有唯一的标识,Spark把这个标识抽象为BlockId。

//org.apache.spark.storage.BlockId
@DeveloperApi
sealed abstract class BlockId {
  def name: String
  def asRDDId: Option[RDDBlockId] = if (isRDD) Some(asInstanceOf[RDDBlockId]) else None
  def isRDD: Boolean = isInstanceOf[RDDBlockId]
  def isShuffle: Boolean = isInstanceOf[ShuffleBlockId]
  def isBroadcast: Boolean = isInstanceOf[BroadcastBlockId]
  override def toString: String = name
  override def hashCode: Int = name.hashCode
  override def equals(other: Any): Boolean = other match {
    case o: BlockId => getClass == o.getClass && name.equals(o.name)
    case _ => false
  }
}

根据上述代码,BlockId中定义了以下方法:

  • name:Block全局唯一的标识名
  • isRDD:当前BlockId是否是RDDBlockId
  • asRDDId:将当前BlockId转换为RDDBlockId。如果当前BlockId是RDDBlockId,则转换为RDDBlockId,否则返回None
  • isShuffle:当前BlockId是否是ShuffleBlockId
  • isBroadcast:当前BlockId是否是BroadcastBlockId

2.3 块信息BlockInfo

BlockInfo用于描述块元数据信息,包括存储级别、Block类型、大小、锁信息等

2.4 存储级别StorageLevel

Spark的存储体系包括磁盘存储与内存存储,而Spark将内存又分为堆外内存和堆内存。有些数据块本身支持序列化及反序列化,有些数据块还支持备份与复制。Spark存储体系将以上这些数据块的不同特性抽象为存储级别StorageLevel。

2.5 BlockResult

BlockResult用于封装从本地的BlockManager中获取的Block数据及与Block相关联的度量数据。

2.6 BlockStatus

样例类BlockStatus用于封装Block的状态信息。

 

 

 

 

 

 

 

  • 1
    点赞
  • 2
    收藏
    觉得还不错? 一键收藏
  • 0
    评论
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值