HDFS-Hadoop文件系统
第一节:HDFS的文件结构
学习HDFS首先得了解HDFS的文件结构,以及它是如何更新和保存数据的,要了解HDFS首先得知道HDFS主要由三个部分组成:namenode,datanode,secondaryNamenode.
这三者的关系按照我的理解就是主人,下人,小秘的关系。namenode是主人的角色,他是一个管理者,是一个决策者。datanode是一个下人,准确来说是一堆下人,他们的工作就是按照主人的吩咐干好本职工作,总是前赴后继的角色。secondaryamenode就是一个小蜜,主人以一大堆下人之间以一种特定的合同文书来维持,小蜜的人物就是在一定时间或者文书积累到一定量的时候,帮主人整理这些文书,保持最简介高效。
1.1 namenode
namenode作为hdfs的头脑,他的主要工作是接受客户端请求,合理的读取和划分数据并存储;而namenode数据存放也是分为两个部分:内存,硬盘中。
内存的数据主要是一些元数据信息,元数据信息就像是一个索引信息,通过索引可以轻松的找到需求的数据的位置包括副本位置;元数据的存在主要是为了便于读取hdfs中的数据。
硬盘中的数据比较多,最新格式化的namenode会生成以下文件目录结构:${dfs.name.dir}/current/VERSION
/edits
/fsimage
/fstime
这四个文件以及文件夹。VERSION文件里面记载了一些namenode的基础信息,而其中有一个namespaceID,这是这个namenode的唯一标示ÿ