spark学习-BlockManager原理

BlockManager原理：

1.Driver上有BlockManagerMaster，负责对各个节点上的BlockManager内部管理的元数据进行维护。

2.每个节点的BlockManager有几个关键组件，DiskStore负责对磁盘上的数据进行读写，MemoryStore负责对内存中的数据进行读写，ConnectionManager负责建立BlockManager到远程其他节点的BlockManager的网络连接，BlockTransferService负责对远程其他节点的BlockManager的数据读写。

3.每个BlockManager创建之后，会向BlockManangerMaster进行注册，BlockManagerMaster会为其创建对应的BlockManagerInfo。

4.BlockManager进行写操作时，比如RDD运行过程中的一些中间数据，或者指定的persist()，会优先将数据写入内存，内存大小不够，再将内存部分数据写入磁盘。

5.如果persist()指定了要replica，那么会使用BlockTransferService将数据replica一份到其他节点的BlockManager上去。

6.BlockManager进行读操作时，比如ShuffleRead操作，如果能从本地读取数据，那么就利用DiskStore或MemoryStore从本地读取数据。如果本地没有数据，就会用ConnectionManager与有数据的BlockManager建立连接，然后用BlockTransferService从远程BlockManager读取数据。

7.只要使用了BlockManager执行了数据增删改的操作，那么就必须将block的BlockStatus上报到BlockManagerInfo内部的BlockStatus进行增删改操作，从而对元数据进行维护。