一图学习HDFS源码结构系列
文章平均质量分 76
最近在看HDFS源码,代码量很大很大,用VISIO画出每个功能的源码结构图,便于以后看代码时使用
ljyyyyyyyyy
随便就好啦
展开
-
【Hadoop】一图学习HDFS源码结构系列——异构存储的实现
【Hadoop】一图学习HDFS源码结构系列——异构存储的实现 学习HDFS异构存储的实现后做的笔记,同样以一个结构图反映整体结构,方便以后有需要的时候回忆。 DataNode通过心跳汇报自身数据存储目录的StorageType给NameNode NameNode就是通过DataNode发出的心跳信息,得到所管理的DataNode拥有什么样的存储。 DataNode的信息收集过程,...原创 2018-03-24 23:22:41 · 618 阅读 · 0 评论 -
【Hadoop】一图学习HDFS源码结构系列——内存存储Lazy persist
【Hadoop】一图学习HDFS源码结构系列——内存存储Lazy persist 最近在学习HDFS的源码,源码规模本身比较大,学了也容易忘记,于是对于每一个小部分的功能都用Visio整理了一结构图,方便以后有用时使用 从三个方面理解Lazy persist功能 异步持久化算法 我们知道,内存空间一定是有限的,而且掉电会丢失,不可能把所有的数据都存放到内存里面,所以HDFS会不断地...原创 2018-03-11 23:02:25 · 593 阅读 · 0 评论