磁盘块管理器DiskBlockManager

最新推荐文章于 2023-01-20 21:04:08 发布

大冰的小屋

最新推荐文章于 2023-01-20 21:04:08 发布

阅读量2.4k

点赞数

分类专栏： Spark源码文章标签： spark

本文链接：https://blog.csdn.net/dwb1015/article/details/52522590

版权

DiskBlockManager在Spark中负责管理Block与磁盘文件的映射，通过创建二级目录结构提高存取速度。构造过程中创建本地目录，并设置关闭钩子清理临时文件。getFile方法通过哈希分布文件到指定目录，创建临时Block文件用于存储本地数据和ShuffleMapTask结果。

摘要由CSDN通过智能技术生成

DiskBlockManager管理和维护了逻辑上的Block和存储在Disk上的物理的Block的映射。默认情况下，一个逻辑的Block会根据它的BlockId生成的名字映射到一个物理上的文件。但是，也可以使用mapBlockToFileSegment方法映射到一个文件的一段区域。这些物理文件会被hash到由spark.local.dir（或者通过SPARK_LOCAL_DIRS来设置）上的不同目录中

1. DiskBlockManager的构造过程

BlockManager在构造时会创建DiskBlockManager，DiskBlockManager的构造如下：
1. 调用createLocalDirs方法创建本地文件目录，然后创建二维数组subDirs，用来缓存一级目录localDirs及二级目录。二级目录的是数量配置通过spark.diskStore.subDirectories属性设置，默认为64。
DiskBlockManager为什么要创建二级目录结构？这是因为二级目录用于对文件进行散列存储，散列存储可以使所有文件都随机存放，写入或删除文件更方便，存取速度快，节省空间。
2. 添加运行时环境结束时的钩子，用于在进程关闭时创建线程，通过调用DiskBlockManager的stop方法，清除一些临时目录。

/**
 * Creates and maintains the logical mapping between logical blocks and physical on-disk
 * locations. By default, one block is mapped to one file with a name given by its BlockId.
 * However, it is also possible to have a block map to only a segment of a file, by calling
 * mapBlockToFileSegment().
 *
 * Block files are hashed among the directories listed in spark.local.dir (or in
 * SPARK_LOCAL_DIRS, if it's set).
 */
private[spark] class DiskBlockManager(blockManager: BlockManager, conf: SparkConf)
  extends Logging {

  private[spark]
  val subDirsPerLocalDir = blockManager.conf.getInt("spark.diskStore.subDirectories",