Driver中的Block:
Driver > DAGScheduler > BlockManagerMaster > BlockManagerInfo > BlockStatus
BlockManagerMaster
位置:存在于Driver上
功能:负责对各个节点上的BlockManager内部管理的数据的元数据进行维护
例如:block的增删改等操作,都会在此维护元数据的变更
BlockManager
位置:存在于每个节点上
关键组件:
DiskStore:负责对磁盘上的数据进行读写
MemoryStore:负责对内存中的数据进行读写
ConnectionManager:负责建立BlockManager到远程其它节点的BlockManager的网络连接
BlockManagerWorker:负责对远程其它节点的BlockManager的数据的读写
BlockManager与BlockManagerMaster之间的关系:
1.注册机制:
每个BlockManager创建后,第一件事就是向 BlockManagerMaster去进行注册,此时BlockManagerMaster会为起创建对应的BlockManagerInfo。
2.写入机制
使用BlockManager进行写操作时,比如RDD运行过程中的一些中间数据,或者手动指定了 persist(),优先将数据写入内存中。如果persist()指定了 replicate操作,它就会将数据备一份到其它节点的BlockManager
3.读取机制:
在进行 Shuffle Read操作时,利用ConnectionManager于有数据的BlockManager尽力连接,然后用BlockManagerWorker从远程BlockManager上去读取数据
4.同步维护机制:
只要BlockManger执行了数据的增删改操作,那么就将block的BlockStatus上报道BlockManagerMaster上去,它会为指定的BlockManager的ManagerInfo内部的BlockStatus进行相应操作,从而达到元数据的维护功能
replicate:英 ['replɪkeɪt] vt. 复制;折叠
persist:英 [pə'sɪst] 持续