Spark存储介绍

记录一下Spark的存储原理

Spark虽说是计算引擎，但存储也是比较重要的一块。

在cache和shuffle等地方用到了存储，存储介质包括有内存和磁盘。

整体架构

Spark存储采用主从模式（Master/Slave）,模块间使用RPC进行通信。

Master负责运行期间数据块元数据的管理和维护。

Slave一方面将本地数据块的状态报告给Master；另一方面接收Master传过来的执行命令，如获取数据块状态、删除RDD/数据块等命令。

Slave之间存在数据传输通道，可以进行远程数据的读取和写入。

存储相关类

在看整体架构之前，先看一下Spark存储模块相关类，以下是类图：

可以看到是以BlockManager为核心。

BlockManager：存在于Driver和Executor中，Driver端的BlockManager保存了数据的元数据信息，Executor端的BlockManager根据接收到的消息进行操作。

BlockManagerMaster：Driver端特有的Master类，用来接收处理Executor发送来的请求。

BlockManagerMasterEndpoint：Master的消息终端点，用于与远程Slave进行消息通信。

BlockManagerSlaveEndpoint：Slave的消息终端点，用于与Master进行通信。

BlockTransferService：在远程节点间提供数据传输服务。

BlockManagerInfo：维护了BlockManager的一些信息。

DiskBlockManager：对数据块进行磁盘读写的管理者。

DiskStore：在磁盘上存储BlockManager块。

MemoryStore：将BlockManager存储在内存中。

MapOutputTracker：跟踪shuffle map stage输出位置的类。

ShuffleManager：shuffle的管理器，可以用于获取shuffle读写的组件。

接下来看看Spark存储的消息通信架构：

以下是架构图，

图中根据数据的生命周期描述了四个步骤：

1. RegisterBlockManager。应用程序启动时、初始化相关组件。
2. UpdateBlockInfo。增删改后更新数据块信息。
3. GetLocations、GetMemoryStatus。查询数据存放的位置，对数据进行读取。
4. RemoveBlock、RemoveRDD。提供了删除的功能。

依次看看四个步骤的具体过程：