Spark Storage概述

概述

Spark的Storage模块负责RDD(persist或cache)、Shuffle中间结果、Broadcast变量的存储及管理。

设计

组件

Storage模块抽象出BlockManager，提供公有的putXXX、getXXX方法供其他模块调用而无需关心其实现细节，BlockManager实现涉及的其他主要class如下(按原始数据和元数据管理分)

BlockStore	以block为单位存储数据，具体实现有三，DiskStore、MemoryStore、ExternalBlockStore，分别对应磁盘存储、内存存储和外部存储
BlockManagerMaster	内部维护了BlockManagerMasterEndpoint的引用，用于给BlockManagerMasterEndpoint发送消息，如注册BlockManager、更新BlockInfo、获取BlockStatus

另外一部分，StorageLevel和BlockManagerMessages的作用如下

StorageLevel	BlockStore存储介质有三种(磁盘、内存、外部)，使用哪种或哪几种通过StorageLevel设置
BlockManagerMessages	Storage模块是分布式存储，各节点间通信需要协议，BlockManagerMessages充当类似报文的功能

拓扑

从Driver和Executor底层通信的角度看，Storage的拓扑结构如下

Driver和Executor各自使用的组件及功能如下

Driver	BlockManagerMasterEndpoint(RpcEndpoint)	管理数据的元数据信息
	BlockManagerSlaveEndpointRef(RpcEndpointRef)	BlockManagerSlaveEndpoint的引用，用于和Executor节点的BlockManagerSlaveEndpoint通信，查询block的状态信息，以及发送删除数据的命令给Executor
	BlockTransferService	基于Netty，提供block下载以及从其他节点下载block功能
Executor	BlockManagerMasterEndpointRef(RpcEndpointRef)	BlockManagerMasterEndpoint的引用，用于和Driver节点的BlockManagerMasterEndpoint通信，向其注册自身及上报block相关元数据信息
	BlockManagerSlaveEndpoint(RpcEndpoint)	提供block的状态查询，以及删除本节点存储的RDD、Shuffle中间结果、Broadcast变量功能
	BlockTransferService	-

BlockManager概要

BlockManager是Storage模块的基础，其他模块使用BlockManager实例存储及获取数据，无需关心底层分布式存储的细节，其类图如下

如上图，我列出了BlockManager的部分属性和方法，并对方法进行了简单分类，可以看出，公有的方法基本为get和put相关，后续会按照上图中的类别逐个分析其实现。

总结

介绍Storage模块的设计思路及BlockManager的概要。