spark学习-43-Spark的BlockManager

最新推荐文章于 2020-12-21 14:12:08 发布

九师兄

最新推荐文章于 2020-12-21 14:12:08 发布

阅读量1.2k

点赞数 1

分类专栏：大数据-spark 文章标签： spark Block Manager 块管理器存储系统

本文为博主九师兄（QQ:541711153 欢迎来探讨技术）原创文章，未经允许博主不允许转载。

本文链接：https://blog.csdn.net/qq_21383435/article/details/78653722

版权

大数据-spark 专栏收录该内容

204 篇文章 480 订阅 ¥49.90 ¥99.00

订阅专栏

BlockManager是Spark存储系统的关键组件，管理Block的生命周期，包括内存、磁盘和Tachyon存储。它采用Master-slaves架构，Driver端的BlockManager管理Executor上的BlockManager。BlockManager包含ShuffleClient、BlockManagerMaster、DiskBlockManager、MemoryStore、DiskStore、TachyonStore等子组件，负责数据的读写和压缩。BlockManagerMaster维护整个集群的Block数据，而MemoryStore和DiskStore分别处理内存和磁盘存储。

摘要由CSDN通过智能技术生成

1.美图

在这里插入图片描述

1.简介：
　　BlockManager负责对Block的管理，只有在BlockManager的痴实话方法initialize被调用之后，它才是有效的。Blockmanager作为存储系统的一部分。

BlockManager是Spark存储体系中的核心组件。
BlockManager主要由以下部分组成：
　　1.shuffle客户端ShuffleClient;
　　 2.BlockManagerMaster(对存在于所有Executor上的BlockManager统一管理)
　　3.磁盘块管理器DiskBlockManager;
　　4.内存存储MemoryStore；
　　5.磁盘存储DiskStore;
　　6.Tachyon存储TachyonStore;
　　7.非广播Block清理器metadataCleanner和广播Block清理器broadcastCleaner;
　　8.压缩算法实现CompressionCodee;

BlockManager也是Master-slaves结构。Driver中的BlockManager会管理所有Executor中的BlockManager，在Executor启动时，会启动相应的BlockMa

了解本专栏