ExternalBlockStore作为Spark的外部存储管理器，基于Tachyon实现，旨在提高解耦合并允许添加更多第三方存储。Tachyon是一款由AMPLab开发的内存分布式文件系统，作为内存中的缓存层，提供高容错的文件共享服务。选择Tachyon的原因包括提高磁盘读写的效率，避免因Executor崩溃导致的数据丢失，以及减少数据的重复加载以优化内存使用。
ExternalBlockStore作为存储Block文件的外部管理器，其实际是封装了TachyonBlockManager。这样做可以更好的解耦合，方便以后加入新的第三方的管理器。ExternalBlockStore创建TachyonBlockManager代码如下：
/**
* Stores BlockManager blocks on ExternalBlockStore.
* We capture any potential exception from underlying implementation
* and return with the expected failure value
*/
private[spark] class ExternalBlockStore(blockManager: BlockManager, executorId: String)
extends BlockStore(blockManager: BlockManager) with Logging {
lazy val externalBlockManager: Option[ExternalBlockManager] = createBlkManager()
...
最低0.47元/天 解锁文章
3042
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
