Spark blockmanager架构

版权声明:本文为博主原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。
本文链接:https://blog.csdn.net/u013063153/article/details/54572951

从Application启动的角度来观察BlockManager运行

1.在Application启动的时候,会在SparkEnv中注册BlockManagerMaster以及MapOutputTracker,其中

 a>BlockManagerMaster:对整个集群的Block数据进行管理

 b>MapOutputTrackerMaster:跟踪所有的Mapper的输出的

2.BlockManagerMasterEndpoint本身是一个消息体,会负责通过远程消息通信的方式去管理所有节点的BlockManager;

3.每启动一个ExecutorBankend都会实例化BlockManager并通过远程通信的方式注册给BlockManagerMaster。实质上是Executor中的BlockManager在启动的时候注册给了Driver上的BlockManagerMasterEndpoint

4.MemoryStore是BlockManager中专门负责内存数据存储和读写的类

5.DiskStore:是BlockManager中专门负责基于磁盘的数据存储和读写的类

6.DiskStoreManager:管理Logical Block与Disk上的Physical Block之间的映射关系并负责磁盘的文件的创建、读写等


从Job运行时的角度来观察BlockManager运行

1.首先通过MemoreStore来存储广播变量

2.在Driver中通过BlockManagerInfo来管理集群中的每个ExecutorBackend中的BlockManager中的元数据信息

3.当改变了具体的ExecutorBackend上的Block信息后就必须发消息给Driver中的BlockManager来更新相应的BlockManagerInfo

4.当执行第二个Stage的时候,第二个Stage会向Driver中的MapOutputTrackerMasterEndpoint发消息请求上一个Stage中的相应的输出,此时MapOutputTrackerMaster会把上一个Stage的输出数据的元数据信息发送给当前请求的Stage



展开阅读全文

没有更多推荐了,返回首页