hadoop文件存储位置_Hadoop进阶系列 - 查看HDFS文件物理存储路径的一两点思路

Key Words: Hadoop, NFS, Distributed File System

过程总览

hdfs文件均存放在datanode上，namenode上不会存放文件。当客户上传一个文件后，namenode会先对文件作相应的处理(比如按照block大小进行分割)。这里主要讲述存放的一个整体过程以及如何快速的找到存放的节点位置信息。

实现namenode的源码中有一个与文件系统存储和管理有关的关键类FSNameSystem，里面有以下的一些概念：

INode: 用来存放文件及目录的基本信息：名称，父节点、修改时间，访问时间以及UGI信息。

INodeFile: 继承自INode，除INode信息外，还有组成这个文件的Blocks列表，重复因子，Block大小

INodeDirectory：继承自INode，此外还有一个INode列表来组成文件或目录树结构

Block(BlockInfo)：组成文件的物理存储，有BlockId，size ，以及时间戳

BlocksMap: 保存数据块到INode和DataNode的映射关系

FSDirectory：保存文件树结构，HDFS整个文件系统是通过FSDirectory来管理

FSImage：保存的是文件系统的目录树

FSEditlog:  文件树上的操作日志

FSNamesystem: HDFS文件系统管理

思路一

Namenode内有两张重要的映射关系表：文件系统的命名空间，文件-block映射表。这对应了两个步骤：1. 文件按照blocksize分割成文件块 2. 文件块和bloc