- 博客(1)
- 收藏
- 关注
原创 Spark Block Manager管理
Spark Block Manager管理spark中的RDD-Cache, Shuffle-output, 以及broadcast的实现都是基于BlockManager来实现, BlockManager提供了数据存储(内存/文件存储)接口.这里的Block和HDFS中谈到的Block块是有本质区别:HDFS中是对大文件进行分Block进行存储,Block大小固定为512M等;而Spark中的...
2019-12-21 21:29:11
585
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人