![](https://img-blog.csdnimg.cn/20201014180756925.png?x-oss-process=image/resize,m_fixed,h_64,w_64)
HDFS源码
李大洲
我有一壶酒,足以慰风尘。尽倾江海里,赠饮天下人。
展开
-
一、文件系统目录树与FSDirectory类
最近在研究HDFS源码,个人感觉很难,头发都快要掉光了O__O "… 一、文件系统目录树 (HDFS第一关系) HDFS的目录和文件在内存中是以一棵树的形式存储的,这个目录树是由NameNode维护的,NameNode会修改这个树形结构以对外提供添加、删除文件等操作。文件系统目录树还保存着HDFS文件与数据块的对应关系。 不管是文件还是目录,在文件系统目录树中都被看作是一个INode节点。如...原创 2019-04-16 19:41:09 · 785 阅读 · 0 评论 -
二、NameNode数据块与数据节点的管理(第二关系管理)
NameNode是HDFS的主节点,管理文件系统的命名空间(namespace),命名空间包括文件系统目录树、文件/目录信息以及文件的数据块索引。 其中文件的数据块索引指的是每个文件对应的数据块列表,这个信息保存在INodeFile.blocks字段中。 数据块与数据节点的对应关系,指的是数据块副本保存在哪些数据节点上。这个信息是由DataNode启动时,由DataNode上报给NameNod...原创 2019-04-27 22:10:58 · 1331 阅读 · 0 评论