spark——BlockManager笔记整理和学习

最新推荐文章于 2021-12-17 14:23:10 发布

DrawnBreak

最新推荐文章于 2021-12-17 14:23:10 发布

阅读量195

点赞数

分类专栏：大数据

本文链接：https://blog.csdn.net/a799581229/article/details/106653571

版权

24 篇文章 3 订阅

订阅专栏

在这里插入图片描述
这张图能知道什么？
Q： spark对RDD的缓存是通过谁去做的？
A：通过BlockManager去缓存，并且根据配置选项，决定缓存在文件还是内存中。

在这里插入图片描述
从中可以看到

在这里插入图片描述

在这里插入图片描述
需要注意的一个地方：当内存不足以放入Block时，他会先释放一下，再判断是否满足！

在这里插入图片描述
红色方框写错了，应该是如果只支持磁盘存储，则从DiskStore中调用方法取出block。

在这里插入图片描述
BMMAC就是BlockManagerMasterActor,我当初瞎写的简称

在这里插入图片描述

BM为什么要备份他的block？这个书里没提！真坑。我的理解是为了防止节点崩溃或者丢失，导致中间任务无法继续执行？
因为其他的BlockManager能接收的block可能有限，所以备份时可能会涉及多个block，每次我们一样，从BMmaster那里拿一个 ***随机***的blockManager做备份，避免都往同一个上备份。

在这里插入图片描述

关注